يزعم أن أحدث طراز من Mistral AI، Mistral Large 2 (ML2)، يتنافس مع النماذج الكبيرة من شركات رائدة في الصناعة مثل OpenAI و Meta و Anthropic، على الرغم من كونه جزءًا صغيرًا من أحجامها.
إن توقيت هذا الإصدار جدير بالملاحظة، حيث جاء في نفس الأسبوع الذي أطلقت فيه Meta نموذجها العملاق Llama 3.1 الذي يحتوي على 405 مليار معلمة. يتمتع كل من ML2 وLlama 3 بقدرات مذهلة، بما في ذلك نافذة سياقية تحتوي على 128000 رمز لتعزيز “الذاكرة” ودعم لغات متعددة.
لقد تميزت Mistral AI منذ فترة طويلة من خلال التركيز على تنوع اللغات، ويواصل ML2 هذا التقليد. يدعم النموذج “عشرات” اللغات وأكثر من 80 لغة برمجة، مما يجعله أداة متعددة الاستخدامات للمطورين والشركات في جميع أنحاء العالم.
وفقًا لمعايير Mistral، فإن أداء ML2 تنافسي مع النماذج من الدرجة الأولى مثل GPT-4o من OpenAI، و Claude 3.5 Sonnet من Anthropic، و Llama 3.1 405B من Meta عبر اختبارات اللغة والترميز والرياضيات المختلفة.
في اختبار Massive Multitask Language Understanding (MMLU) المعترف به على نطاق واسع، حقق ML2 درجة 84 بالمائة. وعلى الرغم من تأخره قليلاً عن منافسيه (GPT-4o بنسبة 88.7%، وClaude 3.5 Sonnet بنسبة 88.3%، وLlama 3.1 405B بنسبة 88.6%)، فمن الجدير بالذكر أن خبراء المجال البشري يقدرون بنحو 89.8% في هذا الاختبار.
الكفاءة: ميزة أساسية
ما يميز ML2 هو قدرته على تحقيق أداء عالٍ بموارد أقل بكثير من منافسيه. فمع 123 مليار معلمة، فإن ML2 أقل من ثلث حجم أكبر نموذج Meta وحوالي ربع حجم GPT-4. هذه الكفاءة لها آثار كبيرة على النشر والتطبيقات التجارية.
عند الدقة الكاملة البالغة 16 بت، يتطلب ML2 حوالي 246 جيجابايت من الذاكرة. ورغم أن هذا لا يزال كبيرًا جدًا بالنسبة لوحدة معالجة رسومية واحدة، فإنه يمكن نشره بسهولة على خادم به أربع إلى ثماني وحدات معالجة رسومية دون اللجوء إلى التكميم – وهو إنجاز لا يمكن تحقيقه بالضرورة مع الطرز الأكبر مثل GPT-4 أو Llama 3.1 405B.
يؤكد Mistral أن الحجم الأصغر لـ ML2 يعني إنتاجية أعلى، حيث يعتمد أداء LLM إلى حد كبير على عرض النطاق الترددي للذاكرة. من الناحية العملية، يعني هذا أن ML2 يمكنه توليد استجابات أسرع من النماذج الأكبر على نفس الأجهزة.
معالجة التحديات الرئيسية
لقد أعطت شركة ميسترال الأولوية لمكافحة الهلوسة – وهي مشكلة شائعة حيث تولد نماذج الذكاء الاصطناعي معلومات مقنعة ولكنها غير دقيقة. تزعم الشركة أن ML2 تم ضبطها لتكون أكثر “حذرًا وتمييزًا” في استجاباتها وأفضل في التعرف على متى تفتقر إلى معلومات كافية للإجابة على استفسار.
بالإضافة إلى ذلك، تم تصميم ML2 ليكون متميزًا في متابعة التعليمات المعقدة، وخاصة في المحادثات الأطول. وقد يؤدي هذا التحسن في قدرات متابعة التعليمات إلى جعل النموذج أكثر تنوعًا وسهولة في الاستخدام عبر تطبيقات مختلفة.
في إشارة إلى المخاوف التجارية العملية، قامت Mistral بتحسين ML2 لتوليد استجابات موجزة عند الاقتضاء. وفي حين أن المخرجات المطولة يمكن أن تؤدي إلى درجات أعلى في المعايير، إلا أنها غالبًا ما تؤدي إلى زيادة وقت الحوسبة وتكاليف التشغيل – وهو الاعتبار الذي قد يجعل ML2 أكثر جاذبية للاستخدام التجاري.
بالمقارنة مع Mistral Large السابقة، تم بذل جهد أكبر بكثير في قدرات المحاذاة والتعليمات. على WildBench وArenaHard وMT Bench، يعمل على قدم المساواة مع أفضل النماذج، بينما يكون أقل إطنابًا بشكل ملحوظ. (4/N) pic.twitter.com/fvPOqfLZSq
— غيوم لامبل @ ICLR 2024 (@GuillaumeLample) 24 يوليو 2024
الترخيص والتوافر
في حين أن ML2 متاح مجانًا على مستودعات شهيرة مثل Hugging Face، فإن شروط ترخيصه أكثر تقييدًا من بعض عروض Mistral السابقة.
على عكس ترخيص Apache 2 مفتوح المصدر المستخدم لنموذج Mistral-NeMo-12B، يتم إصدار ML2 بموجب ترخيص Mistral Research. يسمح هذا الترخيص بالاستخدام غير التجاري والبحثي ولكنه يتطلب ترخيصًا تجاريًا منفصلاً لتطبيقات الأعمال.
مع احتدام سباق الذكاء الاصطناعي، يمثل ML2 من Mistral خطوة كبيرة إلى الأمام في تحقيق التوازن بين القوة والكفاءة والعملية. ويبقى أن نرى ما إذا كان بإمكانه حقًا تحدي هيمنة عمالقة التكنولوجيا، ولكن إطلاقه يمثل بالتأكيد إضافة مثيرة لمجال نماذج اللغة الكبيرة.
(تصوير شون روبرتسون)
أنظر أيضا: أعضاء مجلس الشيوخ يحققون في ممارسات السلامة والتوظيف في OpenAI
هل تريد أن تتعلم المزيد عن الذكاء الاصطناعي والبيانات الضخمة من قادة الصناعة؟ تعرف على معرض الذكاء الاصطناعي والبيانات الضخمة الذي يقام في أمستردام وكاليفورنيا ولندن. يقام هذا الحدث الشامل بالتزامن مع فعاليات رائدة أخرى بما في ذلك مؤتمر الأتمتة الذكية، وBlockX، وأسبوع التحول الرقمي، ومعرض الأمن السيبراني والسحابة.
استكشف الأحداث والندوات عبر الإنترنت الأخرى المتعلقة بتكنولوجيا المؤسسات والتي تدعمها TechForge هنا.
تم نشر المنشور Mistral Large 2: The David to Big Tech's Goliath(s) أولاً على AI News.