كيف تعرف أن نظامًا ما يعرض الآية الصحيحة في لحظتها من التلاوة، ويقطعها من بدايتها إلى نهايتها، ويلاحظ حين يعيد القارئ؟ نشارك اليوم معيارًا مفتوحًا لقياس ذلك: تلاوات حقيقية راجعنا توقيتها كلمةً كلمة، وأداة تقييم واحدة، ولوحة نتائج تقارن الأنظمة بالقواعد نفسها.
لماذا هذا المعيار
من يبني نظامًا لربط الصوت بالنص يختبره عادةً على نوع الصوت الذي بين يديه، فتبدو أرقامه أفضل مما هي عليه حين يواجه تسجيلًا من نوع آخر. ومن يستخدم هذه الأنظمة لا يجد طريقة لمعرفة أيّها يناسب مادته قبل أن يجرّب بنفسه.
والاستخدامات الفعلية كثيرة. عرض نص الآيات على الفيديو، حيث يصبح كل مقطع نصًا يظهر على الشاشة. ومشغّلات تنتقل إلى آية بعينها أو تقتطعها أو تكررها. وأدوات الحفظ والتجويد، وأرشفة التلاوات والبحث فيها، وبناء مجموعات البيانات، وفصل القرآن عن غيره في الخطب والدروس والصلوات.
فالهدف مرجع مركزي مشترك يخدم الطرفين:
- المطوّر: مجموعة ثابتة ومقياس ثابت ولغة مشتركة، فيقارن أفكاره ويكرر التجربة ويقيس أثر كل تحسين.
- المستخدم: يرى أيّ نظام أدق لنوع مادته وأيّها أسرع، قبل أن يعتمد عليه.
وليس المقصود التنافس بين الأنظمة، بل أن نعمل كمجتمع على أرض واحدة: نعرف ما الذي ينجح وأين، ونتبادل المعرفة، ونبني على عمل بعضنا بدل أن يعمل كلٌّ منا وحده. والمجموعة قابلة للنمو في إصدارات مرقّمة، تُضاف إليها تسجيلات مما يواجهه الناس فعلًا.
ثلاث مهام مستقلة
يمكن التسليم في أي مهمة منها وحدها؛ لا يلزم النظامَ أن يؤدي الثلاث.
| المهمة | المُدخَل | المُخرَج |
|---|
| المحاذاة | التسجيل كاملًا، دون النص | مقاطع زمنية، لكل مقطع الكلمات المتلوّة فيه، أو بسملة، أو استعاذة، أو «ليس قرآنًا» |
| التقسيم | التسجيل كاملًا | مقاطع زمنية بحسب وقف القارئ وأنفاسه: أين يبدأ كل مقطع وأين ينتهي، دون أي نص |
| توقيت الكلمات | مقاطع التسجيل المُراجَعة مع كلماتها المعروفة | بداية كل كلمة ونهايتها |
والمهام لا يتوقف بعضها على بعض: التوقيت يبدأ من المقاطع المُراجَعة لا من مخرجات نظام تقسيم، والتقسيم لا يحتاج نصًا، والمحاذاة تُقيَّم على الكلمات لا على طريقة التقطيع. فخطأ نظام في مهمة لا ينتقل إلى أخرى، ويمكن لمن بنى مقسِّمًا فقط أو أداة توقيت فقط أن يقيس عمله مباشرة.
ماذا تقيس الأرقام
في المحاذاة:
- الكلمات المكتشفة: من الكلمات المتلوّة، كم نسبها النظام إلى موضعها الصحيح؟
- الكلمات الصحيحة: من الكلمات التي نسبها النظام، كم تُليت فعلًا حيث قال؟
- المقاطع النظيفة: نسبة المقاطع الصحيحة تمامًا كما تُعرض، لا كلمة ناقصة ولا زائدة ولا حدّ منزاح. في عرض الآيات على الفيديو هي نسبة ما يظهر على الشاشة صحيحًا دون تعديل.
- التكرارات: هل لاحظ النظام أن القارئ رجع وأعاد؟ التكرار جزء طبيعي من التلاوة، في التعليم والصلاة والتسجيلات الحية.
- الثقة: يمكن للنظام أن يرفق مع كل مقطع درجة ثقة، فيُقاس كم من مخرجاته يمكن استخدامه دون مراجعة بشرية. والمقطع الخاطئ الذي وصفه النظام بأنه موثوق يُلغي أربعة مقاطع صحيحة، لأن الخطأ الواثق أخطر على المستخدم من الخطأ المُعلَن.
- السرعة: كم مرة أسرع من الزمن الحقيقي، على المعالج (CPU) وعلى كرت الشاشة (GPU) كلٌّ على حدة.
في التقسيم: نسبة المقاطع التي تطابق مواضع الوقف الفعلية ببدايتها ونهايتها.
في التوقيت: نسبة الكلمات التي تقع بدايتها ونهايتها ضمن 300 ميلي ثانية من التوقيت المرجعي، ونسبة المقاطع التي صحّت كل كلماتها.
هذه الأوصاف مبسّطة عمدًا في هذا المنشور، والتعريفات الكاملة والمعادلات في تبويب Metrics في لوحة النتائج.
كيف أُعدّ التوقيت المرجعي
كل تسجيل قُسِّم وروجع يدويًا بالسماع: حدود كل مقطع، والآيات والكلمات التي فيه، والتكرارات كمقاطع مستقلة، ومواضع الكلام غير القرآني. وتوقيت الكلمات داخل كل مقطع روجع يدويًا كذلك.
والنتيجة خط زمني لكل تسجيل: كل كلمة تُليت، بترتيب تلاوتها، مع بدايتها ونهايتها. وإذا أعاد القارئ آية ظهرت في الخط الزمني مرتين. أما هامش 300 ميلي ثانية في مهمة التوقيت فلأن الحد بين كلمتين في التلاوة الموصولة ليس نقطة حادة، مع الإدغام والوصل ونحوهما، ويعرض التقرير الكامل النتائج بهوامش أضيق وأوسع أيضًا.
لماذا التقييم عادل مهما كانت طريقة التقطيع
هذه هي النقطة الجوهرية. بعض الأنظمة تُخرج مقطعًا لكل آية، وبعضها لكل وقف، وبعضها بتقسيم آخر. المعيار لا يفرض طريقة: يأخذ الكلمات المتلوّة داخل زمن كل مقطع ويقارنها بما نسبه النظام إلى ذلك المقطع. فالمحاذاة الصحيحة تحصل على الدرجة نفسها أيًّا كان تقطيعها.
لكن المقطع الكبير قد يُخفي أخطاء حدوده داخله، لذلك يُقرأ مقياس المقاطع النظيفة إلى جانب متوسط عدد الكلمات في المقطع.
الكلام غير القرآني
في تسجيلات الصلاة والتراويح أذان ودعاء وتكبيرات انتقال وأصوات المصلّين، نحو 16 دقيقة في المجموع. ويتوقع المعيار ألا يُنسَب شيء من القرآن إلى هذه المواضع: النظام الذي يسمّي الدعاء أو الانتقال قرآنًا تُحتسب عليه نسبة خاطئة، والمقطع القرآني الذي يضم كلامًا غير قرآني لا يُعدّ نظيفًا. وهذا بالضبط ما تختبره تسجيلات الصلاة: هل يعرف النظام أين يبدأ القرآن وأين ينتهي.
وللبسملة والاستعاذة تقرير خاص خارج أرقام الكلمات الرئيسية، لكنهما لا تُهمَلان: المقطع القرآني الذي يدخل فيه صوت البسملة دون أن يذكرها لا يكون نظيفًا.
المجموعة: صعبة عمدًا
16 تسجيلًا، نحو 6 ساعات، 60 سورة، 18,421 كلمة متلوّة، و213 موضع تكرار، برواية حفص عن عاصم. صُمّمت لتغطي ما تتعثر فيه الأنظمة عادة:
- الطول: من دقيقة واحدة إلى نحو 80 دقيقة. منها سورة البقرة كاملة (6,186 كلمة)، وجزء عمّ بما فيه من 37 بسملة، وجزء تبارك.
- السرعة: من 28 كلمة في الدقيقة في المجوّد إلى 170 في الحدر. المرتّل بين 41 و58، والحدر بين 78 و170.
- الأساليب الأربعة: المرتّل، والمجوّد بمدوده الطويلة، والحدر، والتعليمي حيث يقرأ الشيخ ويردد خلفه الأطفال.
- التكرار: في تسجيل تعليمي لسورة لقمان تتكرر كل جملة (72 موضع تكرار في 19 دقيقة)، وفي تسجيل لسورة فاطر 27 موضعًا في 18 دقيقة.
- الصوت الصعب: تسجيلات فيها صدى وضغط وضجيج، وتسجيل قديم منخفض الجودة.
- الصلاة والتراويح: ثلاث صلوات، بعضها بسور متعددة في تسجيل واحد، مع أذان ودعاء وانتقالات.
ومن القرّاء: عبد الباسط عبد الصمد، ومحمود خليل الحصري، ومحمد صديق المنشاوي، ومشاري العفاسي، ومحمد أيوب، ومحمد اللحيدان، وعلي جابر، وغيرهم.
ويمكن تصفية لوحة النتائج حسب الأسلوب، ونوع المحتوى (قرآن فقط أو صلاة)، ونقاء الصوت، وتعدد السور، أو اختيار تسجيلات بعينها، فيرى كل مستخدم الأرقام على نوع الصوت الذي يهمّه. وتفاصيل كل تسجيل في تبويب Dataset في لوحة النتائج، وطريقة الإعداد وأوصاف الأعمدة في ملف docs/CORPUS.md في المستودع.
أين تقف الأنظمة اليوم
التقسيم. نماذج اكتشاف الكلام العامة، التي تميّز الكلام من الصمت، لا تكفي لتقسيم التلاوة: المدّ والغنّة والسكتات القصيرة تربكها، فتتراوح نتائجها بين 14% و57%. أما النماذج المدرَّبة على التلاوة فتصل إلى نحو 88%: فرقان بنسبة 88.8%، وrecitation-segmenter-v2 من الأخ عبد الله بنسبة 87.3%. ويعمل فرقان أسرع من الزمن الحقيقي بأكثر من 500 مرة على كرت الشاشة.
توقيت الكلمات. النظام المسلَّم حتى الآن حُسبان، وأحدث نسخه تضبط 96.5% من الكلمات ضمن 300 ميلي ثانية، و82.6% من المقاطع صحّت كل كلماتها. ومن الأساليب الشائعة لهذه المهمة المحاذاة بنموذج صوتي تقليدي (على طريقة MFA)، ونماذج تعرّف صوتي تُستخدم للمحاذاة (بطريقة CTC)، ونرحّب بتسليمها للمقارنة.
المحاذاة. النظام المسلَّم حتى الآن Universal Aligner، وهو من عملنا مع فرقان وحُسبان وتبيان، ونسلّمها بالقواعد نفسها، وهو المحرك نفسه خلف مشروع «قُوى»: 
#792 يقسّم فرقان الصوت، ثم يتعرّف تبيان على الأصوات المنطوقة، ثم تُطابَق مع نص القرآن. على المجموعة كاملة يكتشف 99% من الكلمات، و95% من مقاطعه نظيفة، ويعمل أسرع من الزمن الحقيقي بنحو 24 مرة على كرت الشاشة. وعلى تسجيلات الاستوديو، الأقرب إلى مصاحف «قُوى»، تقترب نتائجه من الكمال. أما ضعفه ففي الضجيج والكلام غير القرآني: في الصلوات قد ينسب دعاءً أو انتقالًا إلى القرآن، ومع الضجيج يفوته نحو ثلث التكرارات، وهذا ما يحتاج حلولًا ونماذج أذكى.
النتائج الكاملة لكل نظام ولكل تسجيل في لوحة النتائج: https://align-bench.qud.dev
قواعد التسليم
مُدخَل النظام هو الصوت فقط. ولأن التوقيت المرجعي منشور، لا يُسمح بالتدريب أو الضبط على تسجيلات المجموعة، ولا بتصحيح النتائج يدويًا. ويُسمح بإعدادات النظام المتاحة لمستخدميه، كحدود الصمت أو اختيار الأسلوب، مع ذكرها في الوصف.
وأداة التقييم نفسها في المستودع، فيمكن تنزيل المجموعة وتشغيل التقييم محليًا وتكرار التجربة قبل أي تسليم، والنتيجة المحلية هي نتيجة اللوحة نفسها. خطوات التنزيل والتشغيل وصيغة الملفات في ملف README في المستودع، ونرحّب بالاقتراحات وطلبات الدمج عليه.
دعوة للمشاركة
