هل تعرف كل تلك التقارير حول نماذج الذكاء الاصطناعي التي نجحت في اجتياز المعيار أو تحقيق ذكاء على مستوى الدكتوراه؟ يبدو أننا يجب أن نبدأ باستعادة تلك الدرجات العلمية. تشير دراسة جديدة أجراها باحثون في معهد أكسفورد للإنترنت إلى أن معظم أدوات قياس الأداء الشائعة المستخدمة لاختبار أداء الذكاء الاصطناعي غالبًا ما تكون غير موثوقة ومضللة.
نظر الباحثون في 445 اختبارًا قياسيًا مختلفًا تستخدمها الصناعة والمؤسسات الأكاديمية الأخرى لاختبار كل شيء بدءًا من القدرات المنطقية وحتى الأداء في مهام البرمجة. قام الخبراء بمراجعة كل نهج مرجعي ووجدوا مؤشرات على أن النتائج التي تنتجها هذه الاختبارات قد لا تكون دقيقة كما تم تقديمها، ويرجع ذلك جزئيًا إلى التعريفات الغامضة لما يحاول المعيار اختباره وعدم الكشف عن الأساليب الإحصائية التي من شأنها أن تسمح بمقارنة النماذج المختلفة بسهولة.
المشكلة الكبيرة التي وجدها الباحثون هي أن “العديد من المعايير ليست قياسات صالحة للأهداف المقصودة”. وهذا يعني أنه في حين أن المعيار قد يدعي أنه يقيس مهارة معينة، فإنه يمكن أن يحدد تلك المهارة بطريقة لا تلتقط في الواقع قدرة النموذج.
على سبيل المثال، يشير الباحثون إلى اختبار قياس الأداء في الرياضيات للصف الدراسي 8K (GSM8K)، والذي يقيس أداء النموذج في مسائل الرياضيات القائمة على الكلمات على مستوى المدرسة، والمصمم لدفع النموذج إلى “الاستدلال الرياضي متعدد الخطوات”. يتم الإعلان عن GSM8K على أنه “مفيد في اختبار قدرة التفكير غير الرسمية لنماذج اللغات الكبيرة.”
لكن الباحثين يقولون إن الاختبار لا يخبرك بالضرورة ما إذا كان النموذج منخرطًا في الاستدلال أم لا. “عندما تسأل طالبًا في الصف الأول ما يساوي اثنين زائد خمسة فيقول سبعة، نعم، هذه هي الإجابة الصحيحة. ولكن هل يمكنك أن تستنتج من هذا أن طالبًا في الصف الخامس قد أتقن التفكير الرياضي أو التفكير الحسابي من مجرد القدرة على جمع الأرقام؟ ربما، لكنني أعتقد أن الإجابة على الأرجح هي لا، “قال آدم مهدي، زميل أبحاث كبير في معهد أكسفورد للإنترنت والمؤلف الرئيسي للدراسة، لشبكة NBC News.
وفي الدراسة، أشار الباحثون إلى أن درجات GSM8K زادت بمرور الوقت، مما قد يشير إلى تحسن النماذج في هذا النوع من التفكير والأداء. ولكنه قد يشير أيضًا إلى التلوث، الذي يحدث عندما تصل أسئلة الاختبار المعياري إلى مجموعة بيانات النموذج أو يبدأ النموذج في “حفظ” الإجابات أو المعلومات بدلاً من التفكير في طريقه إلى الحل. وعندما اختبر الباحثون نفس الأداء على مجموعة جديدة من الأسئلة المعيارية، لاحظوا أن النماذج شهدت “انخفاضات كبيرة في الأداء”.
على الرغم من أن هذه الدراسة تعد من بين أكبر المراجعات لقياس الذكاء الاصطناعي، إلا أنها ليست الأولى التي تشير إلى أن نظام القياس هذا قد لا يكون هو كل ما يُباع ليكون عليه. في العام الماضي، قام الباحثون في جامعة ستانفورد بتحليل العديد من الاختبارات القياسية لنماذج الذكاء الاصطناعي الشائعة ووجدوا “اختلافات كبيرة في الجودة بينها، بما في ذلك تلك التي يعتمد عليها المطورون وصناع السياسات على نطاق واسع”، وأشاروا إلى أن معظم المعايير “تكون أعلى جودة في مرحلة التصميم وأقل جودة في مرحلة التنفيذ”.
إذا لم يكن هناك أي شيء آخر، فإن البحث هو بمثابة تذكير جيد بأن مقاييس الأداء هذه، رغم حسن النية في كثير من الأحيان والمقصود منها تقديم تحليل دقيق للنموذج، لا يمكن تحويلها إلى أكثر من مجرد خطاب تسويقي للشركات.