قياس الهلوسة: كيف تبني مجموعة تقييم؟

المقال كاملًا

من أكثر الجمل شيوعًا في مشاريع الذكاء الاصطناعي هذه الجملة: «النموذج يختلق أحيانًا». وهي ملاحظة لا قياس. فهي لا تقول كم مرّة يختلق، ولا في أيّ نوع من الأسئلة، ولا هل حسّن تغييرُ الأمس الوضعَ أم أساءه.

ولا يمكنك الادّعاء بإصلاح مشكلة لا تعرف قياسها. ومجموعة التقييم — أو «eval» اختصارًا — تسدّ هذه الفجوة: حزمة اختبار من أسئلة معلومة وإجابات متوقَّعة، تُشغَّل بعد كلّ تغيير.

١. يجب أن تكون الأمثلة حقيقية لا تمثيلية

أوّل خطأ في مجموعة التقييم يقع هنا عادةً: تُختلَق الأسئلة على المكتب. والذي يستحقّ مكانًا في المجموعة هو المدخلات التي يواجهها النظام فعلًا — أسئلة حقيقية كتبها مستخدمون، ومستندات حقيقية وصلت، وحالات حدّية حقيقية وقعت.

وهذا البند الأخير أكثرها إهمالًا وأنفعها. فمعرفة النموذج متى يصمت لا تقلّ أهمّية عن إعطائه الإجابة الصحيحة.

٢. الإجابة المتوقَّعة يجب أن تُكتَب

تُكتَب الإجابة الصحيحة سلفًا لكلّ مثال. ويبدو ذلك صعبًا في الأنظمة التي تنتج نصًّا حرًّا، لكنّ ما يمكن تحديده في معظم الحالات ليس الإجابة كلّها بل العناصر التي يجب أن تحتويها وألّا تحتويها: «يجب أن يعطي هذا الرقم»، «يجب أن يذكر هذا المصدر»، «يجب ألّا يلتزم بسعر».

٣. لا ينبغي أن ينهار التقييم إلى رقم واحد

نسبة نجاح واحدة مطمئنة ومضلّلة. فتسعون بالمئة لا تقول في أيّ أنواع الأسئلة تجمّعت العشرة الباقية. قسّم المجموعة إلى فئات وقيّم كلّ فئة على حدة، يظهر لك موضع الهبوط.

والهلوسة تحتاج مقياسًا خاصًّا بها: هل أُنتجت معلومة بلا مصدر؟ وهذا غير «كانت الإجابة خاطئة». فالإجابة الخاطئة مشكلة دقّة، أمّا الإجابة بلا مصدر فمشكلة ثقة.

٤. يجب أن تُشغَّل المجموعة بعد كلّ تغيير

القيمة الحقيقية لمجموعة التقييم لا تظهر في التشغيل الأوّل بل في الثاني. فحين يتغيّر النموذج أو يُحدَّث المُوجَّه أو يُقلَّم السياق، تُشغَّل المجموعة ثانيةً فتخبرك أيّ فئة تراجعت.

وهذا هو نفسه اختبار الانحدار في البرمجيات، مع فارق واحد: في البرمجيات يعطي المدخل نفسه المخرج نفسه، أمّا مع النموذج فقد لا يكون كذلك. لذا ينبغي أن تنظر العتبة إلى متوسّط تشغيلات متكرّرة لا إلى تشغيل واحد.

من أين تبدأ

ثلاثون مثالًا تبدو قليلة، لكنّها أفضل من الصفر بما لا يُقاس. والمكسب الحقيقي يبدأ من التشغيل الثاني.

من المصطلحات: الهلوسة · مجموعة التقييم (eval)

← كل المقالات