أعلنت شركة علي بابا عن Marco-o1، وهو نموذج لغوي كبير (LLM) مصمم للتعامل مع مهام حل المشكلات التقليدية والمفتوحة.
يمثل Marco-o1، من فريق MarcoPolo التابع لشركة علي بابا، خطوة أخرى إلى الأمام في قدرة الذكاء الاصطناعي على التعامل مع تحديات الاستدلال المعقدة – خاصة في الرياضيات والفيزياء والبرمجة والمجالات التي قد تغيب عنها معايير واضحة.
بناءً على التقدم الاستدلالي الذي حققته OpenAI من خلال نموذج o1 الخاص بها، يتميز Marco-o1 عن نفسه من خلال دمج العديد من التقنيات المتقدمة، بما في ذلك الضبط الدقيق لسلسلة الأفكار (CoT)، والبحث عن شجرة مونت كارلو (MCTS)، وآليات الانعكاس الجديدة. تعمل هذه المكونات بشكل متضافر لتعزيز قدرات النموذج على حل المشكلات عبر المجالات المختلفة.
نفذ فريق التطوير استراتيجية ضبط دقيقة شاملة باستخدام مجموعات بيانات متعددة، بما في ذلك نسخة مفلترة من مجموعة بيانات Open-O1 CoT ومجموعة بيانات Marco-o1 CoT الاصطناعية ومجموعة بيانات تعليمات Marco المتخصصة. في المجمل، تضم مجموعة التدريب أكثر من 60.000 عينة منسقة بعناية.
وقد أظهر النموذج نتائج مثيرة للإعجاب بشكل خاص في التطبيقات متعددة اللغات. في الاختبار، حقق Marco-o1 تحسينات ملحوظة في الدقة بنسبة 6.17% على مجموعة بيانات MGSM الإنجليزية و5.60% على نظيرتها الصينية. وقد أظهر النموذج قوة خاصة في مهام الترجمة، وخاصة عند التعامل مع التعبيرات العامية والفروق الثقافية الدقيقة.
واحدة من أكثر ميزات النموذج ابتكارًا هي تنفيذه لتفاصيل العمل المختلفة ضمن إطار عمل MCTS. يسمح هذا النهج للنموذج باستكشاف مسارات التفكير بمستويات مختلفة من التفاصيل، بدءًا من الخطوات الواسعة وحتى “الخطوات الصغيرة” الأكثر دقة والتي تتكون من 32 أو 64 رمزًا. وقد قدم الفريق أيضًا آلية انعكاس تحث النموذج على التقييم الذاتي وإعادة النظر في أسبابه، مما يؤدي إلى تحسين الدقة في سيناريوهات حل المشكلات المعقدة.
لقد أثبت تكامل MCTS فعاليته بشكل خاص، حيث أظهرت جميع إصدارات النموذج المحسّنة بواسطة MCTS تحسينات كبيرة مقارنة بإصدار Marco-o1-CoT الأساسي. كشفت تجارب الفريق مع تفاصيل مختلفة عن أنماط مثيرة للاهتمام، على الرغم من أنهم لاحظوا أن تحديد الإستراتيجية المثالية يتطلب المزيد من البحث ونماذج مكافأة أكثر دقة.
لقد كان فريق التطوير شفافًا بشأن القيود الحالية للنموذج، معترفًا بأنه على الرغم من أن Marco-o1 يُظهر خصائص تفكير قوية، إلا أنه لا يزال أقل من نموذج “o1” الذي تم تحقيقه بالكامل. ويؤكدون أن هذا الإصدار يمثل التزامًا مستمرًا بالتحسين وليس المنتج النهائي.
وبالنظر إلى المستقبل، أعلن فريق علي بابا عن خطط لدمج نماذج المكافآت، بما في ذلك نمذجة مكافآت النتائج (ORM) ونمذجة مكافآت العمليات (PRM)، لتعزيز قدرات اتخاذ القرار og Marco-o1. إنهم يستكشفون أيضًا تقنيات التعلم المعزز لتحسين قدرات النموذج على حل المشكلات.
تم توفير نموذج Marco-o1 ومجموعات البيانات المرتبطة به لمجتمع البحث من خلال مستودع GitHub الخاص بشركة Alibaba، مع استكمال التوثيق الشامل وأدلة التنفيذ. يتضمن الإصدار تعليمات التثبيت ونماذج البرامج النصية للاستخدام المباشر للنموذج والنشر عبر FastAPI.
(تصوير ألينا جروبنياك)
أنظر أيضا: تهدف تقنيات تدريب الذكاء الاصطناعي الجديدة إلى التغلب على التحديات الحالية
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الضخمة من قادة الصناعة؟ اطلع على معرض الذكاء الاصطناعي والبيانات الضخمة الذي يقام في أمستردام وكاليفورنيا ولندن. ويقام هذا الحدث الشامل في موقع مشترك مع أحداث رائدة أخرى بما في ذلك مؤتمر الأتمتة الذكية، وBlockX، وأسبوع التحول الرقمي، ومعرض الأمن السيبراني والسحابي.
استكشف الأحداث والندوات عبر الإنترنت القادمة الأخرى المتعلقة بتكنولوجيا المؤسسات والمدعومة من TechForge هنا.