قامت Tencent بتوسيع عائلتها من نماذج Hunyuan AI مفتوحة المصدر والتي تتنوع بما يكفي للاستخدام الواسع. تم تصميم عائلة النماذج الجديدة هذه لتوفير أداء قوي عبر البيئات الحسابية ، من أجهزة الحافة الصغيرة إلى أنظمة الإنتاج المتطلبة وعالية الحركة.
يتضمن الإصدار مجموعة شاملة من النماذج التي تم تدريبها مسبقًا وتثبيتها على وجه منصة المطورين التي تعانق وجهها. تأتي النماذج بعدة أحجام ، وتحديداً مع مقاييس المعلمات من 0.5B و 1.8B و 4B و 7B ، مما يوفر مرونة كبيرة للمطورين والشركات.
أشارت Tencent إلى أن هذه النماذج تم تطويرها باستخدام استراتيجيات تدريب مشابهة لنموذج Hunyuan-A13B الأكثر قوة ، مما يسمح لها بتربية خصائص أدائها. يمكّن هذا النهج المستخدمين من تحديد النموذج الأمثل لاحتياجاتهم ، سواء كان متغيرًا أصغر للحوسبة الحافة المقيدة للموارد أو نموذج أكبر لأعباء عمل الإنتاج عالي الإنتاجية ، كل ذلك مع ضمان إمكانيات قوية.
واحدة من أبرز ميزات سلسلة Hunyuan هي دعمها الأصلي لنافذة سياق 256k طويلة للغاية. يتيح ذلك للموديلات التعامل مع الأداء المستقر والحفاظ عليه على مهام النص الطويل ، وقدرة حيوية على تحليل المستندات المعقدة ، والمحادثات الموسعة ، وتوليد المحتوى المتعمق. تدعم النماذج ما يسميه Tencent “التفكير الهجين” ، والذي يسمح لكل من أوضاع التفكير السريعة والبطيئة التي يمكن للمستخدمين الاختيار بينها اعتمادًا على متطلباتهم المحددة.
كما وضعت الشركة تركيزًا قويًا على القدرات الوظيفية. تم تحسين النماذج للمهام المستندة إلى الوكيل وأظهرت نتائج قيادية على المعايير المعمول بها مثل BFCL-V3 و inction-bench و C3 ، مما يشير إلى درجة عالية من الكفاءة في حل المشكلات المعقدة متعددة الخطوات. على سبيل المثال ، على مقعد C3 ، يحقق نموذج Hunyuan-7B-instruct درجة 68.5 ، في حين أن طراز Hunyuan-4B-instruct يرقى 64.3.
أداء السلسلة هو التركيز على الاستدلال الفعال. تستخدم نماذج Tencent Hunyuan انتباه الاستعلام المجمعة (GQA) ، وهي تقنية معروفة لتحسين سرعة المعالجة وتقليل النفقات الحاسوبية. يتم تعزيز هذه الكفاءة بشكل أكبر من خلال دعم الكمية المتقدمة ، وهو عنصر رئيسي في بنية Hunyuan المصممة لخفض حواجز النشر.
قامت Tencent بتطوير مجموعة أدوات الضغط الخاصة بها ، AngleSlim ، لإنشاء حل ضغط نموذج أكثر سهولة وفعالة. باستخدام هذه الأداة ، تقدم الشركة نوعين رئيسيين من الكميات لسلسلة Hunyuan.
الأول هو fp8 كمية ثابتة ، والذي يستخدم تنسيق نقطة عائمة 8 بت. تستخدم هذه الطريقة كمية صغيرة من بيانات المعايرة لتحديد مقياس الكمية مسبقًا دون الحاجة إلى إعادة التدريب الكامل وتحويل أوزان النموذج وقيم التنشيط إلى تنسيق FP8 لتعزيز كفاءة الاستدلال.
الطريقة الثانية هي int4 الكمية ، والتي تحقق الكمية W4A16 من خلال خوارزميات GPTQ و AWQ:
- ال GPTQ النهج يعالج الأوزان النموذج طبقة حسب الطبقة ، باستخدام بيانات المعايرة لتقليل الأخطاء في الأوزان الكمية. تتجنب هذه العملية طلب إعادة تدريب النموذج وتحسين سرعة الاستدلال.
- ال AWQ تعمل الخوارزمية عن طريق تحليل إحصائي سعة قيم التنشيط من مجموعة صغيرة من بيانات المعايرة. ثم يحسب معامل التحجيم لكل قناة وزن ، مما يوسع النطاق العددي للأوزان المهمة للاحتفاظ بمزيد من المعلومات أثناء عملية الضغط.
يمكن للمطورين إما استخدام الأداة angleslim بأنفسهم أو تنزيل النماذج المسبقة مسبقًا مباشرة.
تؤكد معايير الأداء القدرات القوية لنماذج Tencent Hunyuan عبر مجموعة من المهام. على سبيل المثال ، يحقق طراز Hunyuan-7B الذي تم تدريبه مسبقًا درجة 79.82 على معايير MMLU ، 88.25 على GSM8K ، و 74.85 على معيار الرياضيات ، مما يدل على التفكير القوي والمهارات الرياضية.
تُظهر المتغيرات التي تم ضبطها في التعليمات نتائج رائعة في مناطق متخصصة. في الرياضيات ، يحقق نموذج Hunyuan-7B-instruct 81.1 على معايير AIME 2024 ، بينما يسجل إصدار 4B 78.3. في العلوم ، يصل نموذج 7B إلى 76.5 على OlympiadBench ، وفي الترميز ، يسجل 42 على LiveCodeBench.
تظهر معايير الكمية الحد الأدنى من تدهور الأداء. في معيار الإسقاط ، يحقق طراز Hunyuan-7B-instruct 85.9 بتنسيقه B16 الأساسي ، 86.0 مع FP8 ، و 85.7 مع INT4 GPTQ ، مما يشير إلى أن مكاسب الكفاءة لا تأتي بتكلفة للدقة.
للنشر ، توصي Tencent باستخدام أطر عمل معروفة مثل Tensorrt-LLM أو VLLM أو SGLANG لخدمة نماذج Hunyuan وإنشاء نقاط نهاية API المتوافقة مع OpenAI ، مما يضمن دمجها بسلاسة في سير عمل التنمية الحالية. هذا المزيج من الأداء والكفاءة ومرونة النشر يضع سلسلة Hunyuan كمنافس قوي مستمر في الذكاء الاصطناعى مفتوح المصدر.
انظر أيضا: Deep Cogito V2: AI مفتوح المصدر الذي يشحن مهاراتها في التفكير
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الكبيرة من قادة الصناعة؟ تحقق من AI و Big Data Expo الذي يقام في أمستردام ، كاليفورنيا ، ولندن. تم تحديد الحدث الشامل مع الأحداث الرائدة الأخرى بما في ذلك مؤتمر الأتمتة الذكي ، و blockx ، وأسبوع التحول الرقمي ، ومعرض Cyber Security & Cloud.
استكشاف أحداث وندوات الويب الأخرى القادمة التي تعمل بها TechForge هنا.