ويأتي هذا التحليل بعد أقل من 24 ساعة من إعلان الشركة عن ترقية طراز GPT-4o. “لقد ارتقت قدرة النموذج على الكتابة الإبداعية – كتابة أكثر طبيعية وجاذبية ومصممة خصيصًا لتحسين الملاءمة وسهولة القراءة،” كتب OpenAI على X. “كما أنه أفضل في العمل مع الملفات التي تم تحميلها، مما يوفر رؤى أعمق واستجابات أكثر شمولاً.” إن ما إذا كانت هذه الادعاءات ستستمر في الصمود أصبح الآن موضع شك.
“لقد أكملنا تشغيل تقييماتنا المستقلة لإصدار GPT-4o الخاص بـ OpenAI بالأمس ونقوم باستمرار بقياس درجات تقييم أقل ماديًا من إصدار أغسطس لـ GPT-4o”، هذا ما أعلنه التحليل الاصطناعي عبر منشور X يوم الخميس، مشيرًا إلى أن التحليل الاصطناعي للنموذج انخفض مؤشر الجودة من 77 إلى 71 (وهو الآن يساوي مؤشر GPT-4o mini).
والأكثر من ذلك، انخفض أداء GPT-4o في معيار GPQA Diamond من 51% إلى 39% بينما انخفض أداء MATH من 78% إلى 69%.
في الوقت نفسه، اكتشف الباحثون أكثر من الضعف في زيادة سرعة استجابات النموذج، حيث تسارعت من حوالي 80 رمزًا مميزًا للإخراج في الثانية إلى ما يقرب من 180 رمزًا/ثانية. وكتب الباحثون: “لقد لاحظنا عمومًا سرعات أعلى بشكل ملحوظ في يوم الإطلاق لنماذج OpenAI (على الأرجح بسبب قدرة توفير OpenAI قبل اعتمادها)، لكننا لم نشهد سابقًا فرقًا في السرعة بمقدار 2x”.
انتظر – هل يعتبر GPT-4o الجديد نموذجًا أصغر حجمًا وأقل ذكاءً؟
لقد أكملنا إجراء تقييماتنا المستقلة على إصدار GPT-4o الخاص بـ OpenAI بالأمس ونقوم باستمرار بقياس درجات التقييم الأقل ماديًا من إصدار أغسطس لـ GPT-4o.
GPT-4o (نوفمبر) مقابل GPT-4o (أغسطس):
➤… pic.twitter.com/gjY2pBFuUv– التحليل الاصطناعي (@ArtificialAnlys) 21 نوفمبر 2024
وتابعوا: “استنادًا إلى هذه البيانات، نستنتج أنه من المحتمل أن يكون نموذج GPT-4o الصادر في 20 نوفمبر من OpenAI نموذجًا أصغر من إصدار أغسطس”. “بالنظر إلى أن OpenAI لم تخفض الأسعار لإصدار 20 نوفمبر، فإننا نوصي المطورين بعدم نقل أعباء العمل بعيدًا عن إصدار أغسطس دون اختبار دقيق.”
تم إصدار GPT-4o لأول مرة في مايو 2024 ليتجاوز طرازي GPT-3.5 وGPT-4 الحاليين. يقدم GPT-4o أحدث النتائج القياسية في المهام الصوتية والمتعددة اللغات والرؤية، وفقًا لـ OpenAI، مما يجعله مثاليًا للتطبيقات المتقدمة مثل الترجمة في الوقت الفعلي والذكاء الاصطناعي للمحادثة.