في هذه الأيام ، يمكن للذكاء الاصطناعي توليد صور واقعية ، وكتابة الروايات ، والقيام بواجبك ، وحتى التنبؤ بهياكل البروتين. ومع ذلك ، يكشف بحث جديد أنه غالبًا ما يفشل في مهمة أساسية للغاية: قول الوقت.
اختبر الباحثون في جامعة إدنبرة قدرة سبعة نماذج لغوية متعددة الوسائط معروفة-نوع من الذكاء الاصطناعي الذي يمكنه تفسير وتوليد أنواع مختلفة من الوسائط-للإجابة على الأسئلة المتعلقة بالوقت بناءً على صور مختلفة للساعات أو التقويمات. توضح دراستهم ، القادمة في أبريل واستضافتها حاليًا على خادم preprint ARXIV ، أن LLMs تواجه صعوبة في هذه المهام الأساسية.
وكتب الباحثون في الدراسة: “إن القدرة على تفسير الوقت والسبب في الوقت من المدخلات البصرية أمر بالغ الأهمية بالنسبة للعديد من التطبيقات في العالم الحقيقي-حيث يمتد من جدولة الأحداث إلى الأنظمة المستقلة”. “على الرغم من التقدم في نماذج اللغة الكبيرة متعددة الوسائط (MLLMS) ، ركزت معظم الأعمال على اكتشاف الكائنات ، أو تسميات التسمية التوضيحية للصور ، أو فهم المشهد ، مما يترك الاستدلال الزمني غير مستقل.”
اختبر الفريق GPT-4O من Openai و GPT-O1 ؛ Google DeepMind's Gemini 2.0 ؛ الأنثروبور كلود 3.5 السوناتة. Meta's Llama 3.2-11B-Vision-instruct ؛ Alibaba's Qwen2-Vl7b-instruct ؛ و ModelBest Minicpm-V-2.6. لقد أطعموا النماذج صور مختلفة للساعات التناظرية – مرتبات الوقت مع الأرقام الرومانية ، وألوان الاتصال الهاتفية المختلفة ، وحتى بعضها في عداد المفقودين ثواني – بالإضافة إلى 10 سنوات من الصور التقويمية.
للحصول على صور على مدار الساعة ، سأل الباحثون LLMS ، Wيظهر وقت القبعة على مدار الساعة في الصورة المحددة؟ بالنسبة للصور التقويمية ، طرح الباحثون أسئلة بسيطة مثل ، ثيوم القبعة في الأسبوع هو يوم رأس السنة الجديدة؟ والاستعلامات الأكثر صعوبة بما في ذلك ثالقبعة هي اليوم 153 من العام؟
“القراءة التناظرية على مدار الساعة وفهم التقويم تتضمن خطوات إدراكية معقدة: إنها تتطلب التعرف البصري ذو الحبيبات الدقيقة (على سبيل المثال ، وضع اليد على السعيدين ، تخطيط الخلية النهارية) والتفكير العددي غير التافهة (على سبيل المثال ، حساب الإزاحة اليومية)” ، أوضح الباحثون.
وعموما ، فإن أنظمة الذكاء الاصطناعى لم تعمل بشكل جيد. قرأوا الوقت على الساعات التناظرية بشكل صحيح أقل من 25 ٪ من الوقت. لقد ناضلوا مع الساعات التي تحمل الأرقام الرومانية والأيدي المنمسة بقدر ما كانت مع الساعات التي تفتقر إلى ثواني يد تمامًا ، مما يشير إلى أن المشكلة قد تنبع من اكتشاف الأيدي وتفسير الزوايا على وجه الساعة ، وفقًا للباحثين.
سجل Gemini-2.0 من Google أعلى مستوى في مهمة ساعة الفريق ، في حين أن GPT-O1 كانت دقيقة في مهمة التقويم 80 ٪ من الوقت-نتيجة أفضل بكثير من منافسيها. ولكن حتى ذلك الحين ، ما زالت MLLM الأكثر نجاحًا في مهمة التقويم ارتكبت أخطاء حوالي 20 ٪ من الوقت.
“يمكن لمعظم الناس معرفة الوقت واستخدام التقويمات من سن مبكرة. وقال روهيت ساكسينا ، المؤلف المشارك للدراسة وطالب الدكتوراه في كلية المعلوماتية في جامعة إدنبرة ، في بيان جامعي ، إن نتائجنا تسلط الضوء على فجوة كبيرة في قدرة الذكاء الاصطناعي على تنفيذ المهارات الأساسية للناس. “يجب معالجة هذه النقص إذا تم دمج أنظمة الذكاء الاصطناعى بنجاح في تطبيقات العالم الحقيقي ، مثل الجدولة والأتمتة والتقنيات المساعدة.”
لذا ، على الرغم من أن الذكاء الاصطناعى قد يكون قادرًا على إكمال واجبك المنزلي ، لا تعتمد عليها التمسك بأي مواعيد نهائية.