تعلن شركة أن نموذجها «تصدّر» اختبارًا ما، فتنقل الأخبار الرقم، ويتحول السؤال في رأس القارئ إلى: هل أنتقل إليه؟ بين الرقم والقرار مسافة، وهذه المقالة تقيسها.
الـBenchmark اختبار موحّد يعطي النموذج مهامًا ثم يحسب درجة. يفيد في المقارنة العامة، لكنه لا يتنبأ بأدائك أنت في مهمتك. اسأل دائمًا: ماذا يقيس؟ ومن أجراه؟ وهل يشبه عملي؟
كيف يعمل الاختبار؟
بحسب شرح IBM، يتكون المقياس من بيانات نموذجية ومجموعة أسئلة أو مهام ومعيار تقييم وآلية تسجيل. تُعطى النموذجَ المهمة، ثم تُقارن مخرجاته بالإجابة المرجعية، وتخرج درجة تتراوح غالبًا بين 0 و100. وتشرح IBM ثلاث طرق للاختبار:
- Zero-shot: يُطلب من النموذج المهمة دون أي مثال قبلها.
- Few-shot: يُعطى عددًا قليلًا من الأمثلة أولًا، وهي الفكرة التي شرحناها في Few-shot Prompting.
- Fine-tuned: يُدرَّب على بيانات شبيهة ببيانات الاختبار لرفع أدائه فيه.
أسماء ستقابلها في الأخبار
| الاسم | ما يقيسه بحسب IBM |
|---|---|
| MMLU | اتساع المعرفة: أكثر من 15 ألف سؤال اختيار من متعدد في 57 مادة |
| GSM8K | الاستدلال الرياضي: نحو 8,500 مسألة كلامية لمرحلة المدرسة |
| HumanEval | توليد الكود وصحته الوظيفية عبر اختبارات وحدة |
| SWE-bench | حل أخطاء وطلبات ميزات داخل مستودع كود حقيقي |
| TruthfulQA | صدق الإجابات: أكثر من 800 سؤال في 38 موضوعًا |
| Chatbot Arena | تفضيل مستخدمين حقيقيين في مقارنة عمياء بين نموذجين |
لماذا قد يخدعك الرقم؟
تعدّد IBM قيودًا أربعة: السقف المحدود، فحين يبلغ النموذج أعلى درجة يفقد المقياس فائدته حتى تُصعَّب مهامه. واتساع البيانات، فاختبار عام لا يناسب مجالًا متخصصًا أو حالة محددة. وتقادم الاختبار، فهو يقيس المهارات الحالية فقط. والإفراط في التلاؤم، وهو أن يتدرّب النموذج على بيانات الاختبار نفسها فيحقق درجة لا تعكس قدرته الفعلية.
وهناك قيد خامس لا تذكره الأوراق عادة: من يعدّ الاختبار. حين تعرض شركة رسمًا لتفوق نموذجها، فهي من اختارت المقياس وطريقة عرضه، وهذا لا يعني الخطأ، لكنه يعني أن الرقم دعوة للتجربة لا حكم نهائي.
مثال حديث
تقول Google عن Gemini 4 Argon إنه تصدّر Vals Index، وحصل على 87% في ERQA، وإن نسبة نجاح الهجمات عليه في اختبار Gray Swan لحقن الأوامر بلغت 0.7%، كما بيّنا في مقالتنا عن Argon. كلها اختبارات مختلفة تقيس أشياء مختلفة، ولا يكفي أي منها لتعرف إن كان سيكتب لك بريدًا عربيًا أفضل. وللاختيار بين نماذج Claude مثلًا، اقرأ أي نموذج Claude تختار.
جرّب هذا قبل أن تدفع
اكتب ثلاث مهام حقيقية من أسبوعك، بالعربية إن كانت لغة عملك، وأعطها لنموذجين في وقت واحد، ثم قارن النتيجتين بنفسك. بضع دقائق من هذا الاختبار الشخصي توفر عليك شهرًا من اشتراك لا يناسبك، وتجعل أي رقم تقرؤه بعدها مجرد معلومة إضافية.
