يمكن لقادة المؤسسات الذين يعانون من التكاليف الباهظة لنشر نماذج الذكاء الاصطناعي أن يحصلوا على مهلة بفضل التصميم المعماري الجديد.
في حين أن قدرات الذكاء الاصطناعي التوليدي جذابة، فإن متطلباتها الحسابية الهائلة لكل من التدريب والاستدلال تؤدي إلى نفقات باهظة ومخاوف بيئية متزايدة. وفي قلب هذا القدر من عدم الكفاءة يكمن “عنق الزجاجة الأساسي” الذي تعاني منه النماذج، والذي يتمثل في عملية الانحدار الذاتي التي تعمل على توليد النص بشكل تسلسلي، رمزاً تلو الآخر.
بالنسبة للمؤسسات التي تعالج تدفقات هائلة من البيانات، بدءًا من شبكات إنترنت الأشياء وحتى الأسواق المالية، فإن هذا القيد يجعل إنشاء تحليل طويل الأمد بطيئًا وصعبًا اقتصاديًا. ومع ذلك، تقترح ورقة بحثية جديدة من Tencent AI وجامعة تسينغهوا بديلاً.
نهج جديد لكفاءة الذكاء الاصطناعي
يقدم البحث نماذج لغة الانحدار الذاتي المستمر (CALM). تعمل هذه الطريقة على إعادة هندسة عملية الإنشاء للتنبؤ بالمتجه المستمر بدلاً من الرمز المميز المنفصل.
يقوم جهاز التشفير التلقائي عالي الدقة “بضغط (قطع) قطعة من رموز K في ناقل مستمر واحد،” والذي يحمل عرض نطاق ترددي دلالي أعلى بكثير.
بدلاً من معالجة شيء مثل “the”، “cat”، “sat” في ثلاث خطوات، يقوم النموذج بضغطها في خطوة واحدة. هذا التصميم مباشرة “يقلل من عدد الخطوات التوليدية”، ويهاجم الحمل الحسابي.
توضح النتائج التجريبية مقايضة أفضل بين الأداء والحساب. قدم نموذج CALM AI الذي يجمع أربعة رموز أداءً “يُقارن بخطوط الأساس المنفصلة القوية، ولكن بتكلفة حسابية أقل بكثير” للمؤسسة.
على سبيل المثال، يتطلب أحد نماذج CALM تدريبًا أقل بنسبة 44 بالمائة من FLOPs و34 بالمائة أقل من FLOPs الاستدلالية مقارنة بالمحول الأساسي ذي القدرة المماثلة. يشير هذا إلى توفير في كل من النفقات الرأسمالية الأولية للتدريب والنفقات التشغيلية المتكررة للاستدلال.
إعادة بناء مجموعة الأدوات للمجال المستمر
إن الانتقال من مفردات محدودة ومنفصلة إلى مساحة متجهة لا نهائية ومستمرة يكسر مجموعة أدوات LLM القياسية. وكان على الباحثين تطوير “إطار شامل خالٍ من الاحتمالات” لجعل النموذج الجديد قابلاً للتطبيق.
للتدريب، لا يمكن للنموذج استخدام طبقة softmax القياسية أو تقدير الاحتمال الأقصى. لحل هذه المشكلة، استخدم الفريق هدفًا “خاليًا من الاحتمالات” مع محول الطاقة، والذي يكافئ النموذج على التنبؤات الدقيقة دون حساب الاحتمالات الواضحة.
تتطلب طريقة التدريب الجديدة هذه أيضًا مقياسًا جديدًا للتقييم. المعايير القياسية مثل الحيرة غير قابلة للتطبيق لأنها تعتمد على نفس الاحتمالات التي لم يعد النموذج يحسبها.
اقترح الفريق استخدام BrierLM، وهو مقياس جديد يعتمد على درجة بريير والتي يمكن تقديرها من خلال عينات نموذجية فقط. أكدت عملية التحقق من صحة BrierLM كبديل موثوق به، حيث أظهرت “ارتباط رتبة Spearman بقيمة -0.991” مع مقاييس الخسارة التقليدية.
وأخيرًا، يستعيد إطار العمل عملية التوليد الخاضعة للرقابة، وهي ميزة أساسية لاستخدام المؤسسات. أخذ عينات درجة الحرارة القياسية مستحيل بدون التوزيع الاحتمالي. تقدم هذه الورقة “خوارزمية جديدة لأخذ العينات الخالية من الاحتمالات”، بما في ذلك طريقة تقريبية عملية لإدارة المفاضلة بين دقة المخرجات والتنوع.
تقليل تكاليف الذكاء الاصطناعي في المؤسسة
يقدم هذا البحث لمحة عن المستقبل حيث لا يتم تعريف الذكاء الاصطناعي التوليدي فقط من خلال أعداد المعلمات المتزايدة باستمرار، ولكن من خلال الكفاءة المعمارية.
إن المسار الحالي لنماذج التوسع يصطدم بجدار من العائدات المتناقصة والتكاليف المتصاعدة. ينشئ إطار عمل CALM “محور تصميم جديد لتوسيع نطاق LLM: زيادة عرض النطاق الترددي الدلالي لكل خطوة توليدية”.
على الرغم من أن هذا إطار بحثي وليس منتجًا جاهزًا، إلا أنه يشير إلى مسار قوي وقابل للتطوير نحو نماذج لغوية فائقة الكفاءة. عند تقييم خرائط طريق البائعين، يجب على قادة التكنولوجيا النظر إلى ما هو أبعد من حجم النموذج والبدء في السؤال عن الكفاءة المعمارية.
ستصبح القدرة على تقليل FLOPs لكل رمز مميز يتم إنشاؤه ميزة تنافسية محددة، مما يتيح نشر الذكاء الاصطناعي بشكل أكثر اقتصادًا واستدامة عبر المؤسسة لتقليل التكاليف – بدءًا من مركز البيانات وحتى تطبيقات الحافة كثيفة البيانات.
أنظر أيضا: تؤدي معايير الذكاء الاصطناعي المعيبة إلى تعريض ميزانيات المؤسسات للخطر
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الضخمة من قادة الصناعة؟ اطلع على معرض الذكاء الاصطناعي والبيانات الضخمة الذي يقام في أمستردام وكاليفورنيا ولندن. يعد هذا الحدث الشامل جزءًا من TechEx ويقام في مكان مشترك مع أحداث تكنولوجية رائدة أخرى بما في ذلك معرض الأمن السيبراني، انقر هنا لمزيد من المعلومات.
يتم تشغيل AI News بواسطة TechForge Media. استكشف الأحداث والندوات عبر الإنترنت القادمة الأخرى المتعلقة بتكنولوجيا المؤسسات هنا.