تطلق Ai2 OLMo 2، وهي عائلة من نماذج اللغات مفتوحة المصدر التي تعمل على تعزيز ديمقراطية الذكاء الاصطناعي وتضييق الفجوة بين الحلول المفتوحة والمملوكة.
تم تدريب النماذج الجديدة، المتوفرة في إصدارات المعلمات 7B و13B، على ما يصل إلى 5 تريليون رمز مميز وتظهر مستويات الأداء التي تتطابق أو تتجاوز النماذج المفتوحة تمامًا القابلة للمقارنة مع الحفاظ على قدرتها التنافسية مع النماذج ذات الوزن المفتوح مثل Llama 3.1 وفقًا للمعايير الأكاديمية الإنجليزية.
أوضح Ai2: “منذ إصدار أول OLMo في فبراير 2024، شهدنا نموًا سريعًا في النظام البيئي لنموذج اللغة المفتوحة، وتضييق فجوة الأداء بين النماذج المفتوحة والمملوكة”.
حقق فريق التطوير هذه التحسينات من خلال العديد من الابتكارات، بما في ذلك تدابير استقرار التدريب المحسنة، وأساليب التدريب المرحلية، وأحدث منهجيات ما بعد التدريب المستمدة من إطار عمل Tülu 3. تتضمن التحسينات التقنية الملحوظة التحول من معيار الطبقة غير البارامترية إلى RMSNorm وتنفيذ التضمين الموضعي الدوار.
اختراق نموذج التدريب OLMo 2
استخدمت عملية التدريب نهجا متطورا من مرحلتين. استخدمت المرحلة الأولية مجموعة بيانات OLMo-Mix-1124 التي تضم حوالي 3.9 تريليون رمز، مصدرها DCLM وDolma وStarcoder وProof Pile II. تضمنت المرحلة الثانية مزيجًا منسقًا بعناية من بيانات الويب عالية الجودة والمحتوى الخاص بالمجال من خلال مجموعة بيانات Dolmino-Mix-1124.
تجدر الإشارة بشكل خاص إلى متغير OLMo 2-Instruct-13B، وهو الطراز الأكثر قدرة في السلسلة. يُظهر النموذج أداءً فائقًا مقارنةً بنماذج تعليمات Qwen 2.5 14B، وTülu 3 8B، وLlama 3.1 8B عبر معايير مختلفة.
الالتزام بالعلم المفتوح
لتعزيز التزامها بالعلم المفتوح، أصدرت Ai2 وثائق شاملة تتضمن الأوزان والبيانات والتعليمات البرمجية والوصفات ونقاط التفتيش الوسيطة والنماذج المضبوطة للتعليمات. تسمح هذه الشفافية بالفحص الكامل وإعادة إنتاج النتائج من قبل مجتمع الذكاء الاصطناعي الأوسع.
يقدم الإصدار أيضًا إطارًا للتقييم يسمى OLMES (نظام تقييم نمذجة اللغة المفتوحة)، والذي يشتمل على 20 معيارًا مصممًا لتقييم القدرات الأساسية مثل استدعاء المعرفة، والتفكير المنطقي، والتفكير الرياضي.
يرفع OLMo 2 مستوى تطوير الذكاء الاصطناعي مفتوح المصدر، مما قد يؤدي إلى تسريع وتيرة الابتكار في هذا المجال مع الحفاظ على الشفافية وإمكانية الوصول.
(تصوير ريك باريت)
أنظر أيضا: يعمل OpenAI على تعزيز سلامة الذكاء الاصطناعي من خلال أساليب الفريق الأحمر الجديدة
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الضخمة من قادة الصناعة؟ اطلع على معرض الذكاء الاصطناعي والبيانات الضخمة الذي يقام في أمستردام وكاليفورنيا ولندن. ويقام هذا الحدث الشامل في موقع مشترك مع أحداث رائدة أخرى بما في ذلك مؤتمر الأتمتة الذكية، وBlockX، وأسبوع التحول الرقمي، ومعرض الأمن السيبراني والسحابي.
استكشف الأحداث والندوات عبر الإنترنت القادمة الأخرى المتعلقة بتكنولوجيا المؤسسات والمدعومة من TechForge هنا.