أعلنت شركة Microsoft عن عائلة Phi-3 من نماذج اللغات الصغيرة المفتوحة (SLMs)، ووصفتها بأنها الأكثر قدرة وفعالية من حيث التكلفة مقارنة بحجمها المتاح. سمح نهج التدريب المبتكر الذي طوره باحثو مايكروسوفت لنماذج Phi-3 بالتفوق على النماذج الأكبر في معايير اللغة والترميز والرياضيات.
“ما سنبدأ في رؤيته ليس التحول من الكبير إلى الصغير، ولكن التحول من فئة واحدة من النماذج إلى مجموعة من النماذج حيث يحصل العملاء على القدرة على اتخاذ قرار بشأن ما هو النموذج الأفضل بالنسبة لهم قالت سونالي ياداف، مديرة المنتج الرئيسية لـ Geneative AI في Microsoft: “السيناريو”.
أول نموذج Phi-3، Phi-3-mini بـ 3.8 مليار معلمة، متاح الآن للجمهور في Azure AI Model Catalog، وHugging Face، وOllama، وكخدمة صغيرة من NVIDIA NIM. على الرغم من حجمه الصغير، فإن Phi-3-mini يتفوق على النماذج بضعف حجمه. ستتبع قريبًا نماذج Phi-3 الإضافية مثل Phi-3-small (معلمات 7B) وPhi-3-medium (معلمات 14B).
قال لويس فارجاس، نائب رئيس قسم الذكاء الاصطناعي في Microsoft: “قد يحتاج بعض العملاء فقط إلى نماذج صغيرة، وسيحتاج البعض الآخر إلى نماذج كبيرة وسيرغب الكثيرون في الجمع بين الاثنين بطرق متنوعة”.
الميزة الرئيسية لـ SLM هي حجمها الأصغر الذي يتيح النشر على الجهاز لتجارب الذكاء الاصطناعي ذات زمن الوصول المنخفض دون الاتصال بالشبكة. تشمل حالات الاستخدام المحتملة أجهزة الاستشعار الذكية والكاميرات ومعدات الزراعة والمزيد. الخصوصية هي فائدة أخرى من خلال الاحتفاظ بالبيانات على الجهاز.
تتفوق نماذج اللغة الكبيرة (LLMs) في التفكير المعقد عبر مجموعات البيانات الضخمة، وهي نقاط قوة مناسبة لتطبيقات مثل اكتشاف الأدوية من خلال فهم التفاعلات عبر المؤلفات العلمية. ومع ذلك، تقدم إدارة SLM بديلاً مقنعًا للإجابة على الاستفسارات بشكل أبسط، والتلخيص، وإنشاء المحتوى، وما شابه ذلك.
وعلق فيكتور بوتيف، المدير التنفيذي للتكنولوجيا والمؤسس المشارك لـ Iris.ai قائلاً: “بدلاً من مطاردة نماذج أكبر من أي وقت مضى، تعمل Microsoft على تطوير أدوات تحتوي على بيانات منسقة بعناية أكبر وتدريب متخصص”.
“يسمح هذا بتحسين الأداء والقدرات المنطقية دون التكاليف الحسابية الهائلة للنماذج التي تحتوي على تريليونات من المعلمات. إن الوفاء بهذا الوعد يعني إزالة حاجز التبني الضخم أمام الشركات التي تبحث عن حلول الذكاء الاصطناعي.
تقنية التدريب الاختراق
إن ما مكن مايكروسوفت من تحقيق قفزة نوعية في إدارة SLM هو النهج المبتكر لتصفية البيانات وتوليدها المستوحى من كتب قصص ما قبل النوم.
“بدلاً من التدريب على بيانات الويب الأولية فقط، لماذا لا تبحث عن بيانات ذات جودة عالية للغاية؟” سأل سيباستيان بوبيك، نائب رئيس مايكروسوفت لأبحاث SLM.
أثار روتين القراءة الليلي الذي كان ينتهجه رونين إلدان مع ابنته فكرة إنشاء مجموعة بيانات “TinyStories” تضم ملايين القصص البسيطة التي تم إنشاؤها من خلال تحفيز نموذج كبير يحتوي على مجموعات من الكلمات التي يعرفها طفل يبلغ من العمر 4 سنوات. ومن اللافت للنظر أن نموذج المعلمة 10M الذي تم تدريبه على TinyStories يمكنه إنشاء قصص بطلاقة مع قواعد نحوية مثالية.
وبناءً على هذا النجاح المبكر، قام الفريق بشراء بيانات ويب عالية الجودة تم فحصها للتأكد من قيمتها التعليمية لإنشاء مجموعة بيانات “CodeTextbook”. وقد تم تصنيع هذا من خلال جولات من التحفيز والتوليد والتصفية من قبل كل من البشر ونماذج الذكاء الاصطناعي الكبيرة.
وقال بوبيك: “يتم بذل الكثير من الاهتمام لإنتاج هذه البيانات الاصطناعية”. “نحن لا نأخذ كل ما ننتجه.”
أثبتت بيانات التدريب عالية الجودة أنها تحويلية. وأوضح بوبيك قائلاً: “لأن القراءة من مادة تشبه الكتب المدرسية… فإنك تجعل مهمة النموذج اللغوي في قراءة هذه المادة وفهمها أسهل بكثير”.
التخفيف من مخاطر سلامة الذكاء الاصطناعي
على الرغم من التنظيم المدروس للبيانات، تؤكد Microsoft على تطبيق ممارسات أمان إضافية على إصدار Phi-3 مما يعكس عملياتها القياسية لجميع نماذج الذكاء الاصطناعي التوليدية.
“كما هو الحال مع جميع إصدارات نماذج الذكاء الاصطناعي التوليدية، استخدم منتج Microsoft وفرق الذكاء الاصطناعي المسؤولة نهجًا متعدد الطبقات لإدارة المخاطر وتخفيفها في تطوير نماذج Phi-3″، حسبما ورد في منشور بالمدونة.
وشمل ذلك المزيد من أمثلة التدريب لتعزيز السلوكيات المتوقعة، وتقييمات لتحديد نقاط الضعف من خلال الفريق الأحمر، وتقديم أدوات Azure AI للعملاء لبناء تطبيقات جديرة بالثقة فوق Phi-3.
(تصوير تاداس سار)
أنظر أيضا: مايكروسوفت تقيم شراكات في مجال الذكاء الاصطناعي مع قادة التكنولوجيا في كوريا الجنوبية
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الضخمة من قادة الصناعة؟ اطلع على معرض الذكاء الاصطناعي والبيانات الضخمة الذي يقام في أمستردام وكاليفورنيا ولندن. ويقام هذا الحدث الشامل في مكان مشترك مع الأحداث الرائدة الأخرى بما في ذلك BlockX، وأسبوع التحول الرقمي، ومعرض الأمن السيبراني والسحابي.
استكشف الأحداث والندوات عبر الإنترنت القادمة الأخرى المتعلقة بتكنولوجيا المؤسسات والمدعومة من TechForge هنا.