تشرح ورقة جديدة من باحث Samsung AI كيف يمكن لشبكة صغيرة التغلب على نماذج اللغة الكبيرة الضخمة (LLMS) في التفكير المعقد.
في السباق من أجل تفوق الذكاء الاصطناعي ، غالبًا ما كانت شعار الصناعة “أكبر”. لقد سكب عمالقة التكنولوجيا مليارات الدولارات لإنشاء نماذج أكثر إزعاجًا ، ولكن وفقًا لألكيا جوليكور-مارتينو من Samsung Sail Montréal ، فإن مسارًا مختلفًا تمامًا وأكثر كفاءة إلى الأمام ممكن مع النموذج العودية الصغيرة (TRM).
باستخدام نموذج يحتوي على 7 ملايين فقط ، أقل من 0.01 ٪ من حجم LLMS الرائدة ، يحقق TRM نتائج جديدة على أحدث طراز على معايير صعبة سيئة السمعة مثل اختبار الذكاء ARC-AAGI. يتحدى عمل Samsung الافتراض السائد بأن النطاق الهائل هو الطريقة الوحيدة لتعزيز قدرات نماذج الذكاء الاصطناعى ، مما يوفر بديلاً أكثر استدامة وفعالية معلمة.
التغلب على حدود الحجم
في حين أن LLMs أظهرت براعة لا تصدق في توليد نص تشبه الإنسان ، فإن قدرتها على أداء التفكير المعقد متعدد الخطوات يمكن أن تكون هشة. نظرًا لأنهم يولدون إجابات رمزية من خلال ، فإن خطأً واحدًا في وقت مبكر من العملية يمكن أن يعرقل الحل بأكمله ، مما يؤدي إلى إجابة نهائية غير صالحة.
تم تطوير تقنيات مثل سلسلة الأفكار ، حيث تم تطوير نموذج “يفكر بصوت عالٍ” لتحطيم مشكلة ، لتخفيف هذا. ومع ذلك ، فإن هذه الطرق باهظة الثمن من الناحية الحسابية ، وغالبًا ما تتطلب كميات واسعة من بيانات التفكير عالي الجودة والتي قد لا تكون متوفرة ، ولا يزال بإمكانها إنتاج منطق معيب. حتى مع هذه التعزيزات ، تكافح LLMS مع بعض الألغاز حيث يكون التنفيذ المنطقي المثالي ضروريًا.
يعتمد عمل Samsung على نموذج حديث من الذكاء الاصطناعي المعروف باسم نموذج التفكير الهرمي (HRM). قدمت HRM طريقة جديدة باستخدام شبكتين عصبيتين صغيرتين تعملان بشكل متكرر على مشكلة على ترددات مختلفة لتحسين الإجابة. لقد أظهرت وعدًا كبيرًا ولكنه كان معقدًا ، حيث كان يعتمد على الحجج البيولوجية غير المؤكدة ونظريات النقطة الثابتة المعقدة التي لم تكن مضمونة للتقدم.
بدلاً من شبكتين لـ HRM ، تستخدم TRM شبكة واحدة صغيرة تعمل بشكل متكرر على تحسين كل من “التفكير” الداخلي و “الإجابة” المقترحة.
يتم إعطاء النموذج السؤال ، وتخمين أولي في الإجابة ، وميزة التفكير الكامن. يدور أولاً من خلال عدة خطوات لتحسين التفكير الكامن بناءً على جميع المدخلات الثلاثة. ثم ، باستخدام هذا التفكير المحسن ، يقوم بتحديث تنبؤه للإجابة النهائية. يمكن تكرار هذه العملية برمتها حتى 16 مرة ، مما يسمح للنموذج بتصحيح أخطائه بشكل تدريجي بطريقة عالية الكفاءة.
على عكس ذلك ، اكتشف البحث أن شبكة صغيرة ذات طبقتين فقط حققت تعميمًا أفضل بكثير من نسخة من أربع طبقات. يبدو أن هذا التخفيض في الحجم يمنع النموذج من التورط ؛ مشكلة شائعة عند التدريب على مجموعات البيانات الأصغر والمتخصصة.
يتصرف TRM أيضًا مع التبريرات الرياضية المعقدة التي يستخدمها سابقتها. يتطلب نموذج HRM الأصلي افتراض أن وظائفه تتقارب إلى نقطة ثابتة لتبرير طريقة التدريب الخاصة بها. يتخطى TRM هذا بالكامل عن طريق مجرد التراجع عن عملية التكرار الكاملة. وفر هذا التغيير وحده دفعة هائلة في الأداء ، مما أدى إلى تحسين الدقة على معيار سودوكو-تريم من 56.5 ٪ إلى 87.4 ٪ في دراسة الاجتثاث.
طراز سامسونج يحطم معايير الذكاء الاصطناعي مع موارد أقل
النتائج تتحدث عن نفسها. على مجموعة بيانات Sudoku-Extreme ، التي تستخدم 1000 مثال تدريبي فقط ، تحقق TRM دقة اختبار 87.4 ٪ ، وهي قفزة هائلة من 55 ٪ من HRM. على المتاهة ، وهي مهمة تتضمن إيجاد مسارات طويلة من خلال 30 × 30 متاهات ، وتنتشر TRM 85.3 ٪ مقارنة بـ 74.5 ٪ من HRM.
والجدير بالذكر أن TRM يخطو خطوات كبيرة على تجريد التجريد والمنطق (ARC-AGI) ، وهو معيار مصمم لقياس ذكاء السوائل الحقيقي في الذكاء الاصطناعي. مع وجود معلمات 7M فقط ، يحقق TRM دقة 44.6 ٪ على ARC-AGI-1 و 7.8 ٪ على ARC-AGI-2. هذا يتفوق على HRM ، الذي استخدم نموذج المعلمة 27M ، وحتى يتجاوز العديد من أكبر LLMs في العالم. للمقارنة ، يسجل Gemini 2.5 Pro 4.9 ٪ فقط على ARC-AGI-2.
كما أصبحت عملية التدريب لـ TRM أكثر كفاءة. تم تبسيط آلية تكيفية تسمى ACT – والتي تقرر متى قام النموذج بتحسين إجابة بما فيه الكفاية ويمكن أن تنتقل إلى عينة بيانات جديدة – لإزالة الحاجة إلى مرور آخر مكلف إلى الأمام عبر الشبكة خلال كل خطوة تدريب. تم إجراء هذا التغيير دون فرق كبير في التعميم النهائي.
يقدم هذا البحث من Samsung حجة مقنعة ضد المسار الحالي لنماذج الذكاء الاصطناعى المتسعة باستمرار. إنه يوضح أنه من خلال تصميم البنى التي يمكن أن تسبب بشكل متكرر وتصحيح ذاتي ، من الممكن حل المشكلات الصعبة للغاية مع جزء صغير من الموارد الحسابية.
انظر أيضا: يعيد Ai Agent الجديد من Google إعادة كتابة رمز الأتمتة في إصلاحات الضعف
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الكبيرة من قادة الصناعة؟ تحقق من AI و Big Data Expo الذي يقام في أمستردام ، كاليفورنيا ، ولندن. يعد الحدث الشامل جزءًا من TechEx ويتم تحديده مع الأحداث التكنولوجية الرائدة الأخرى بما في ذلك معرض Cyber Security Expo ، انقر هنا لمزيد من المعلومات.
AI News مدعومة من قبل Techforge Media. استكشاف أحداث وندوات الويب الأخرى القادمة هنا.