كشفت Alibaba عن WAN2.1-Vace ، وهو نموذج منظمة العفو الدولية مفتوحة المصدر مصمم لتهز كيف نقوم بإنشاء مقاطع الفيديو وتحريرها.
لا يظهر VACE من الهواء الرقيق. إنه جزء من عائلة WAN2.1 أوسع من عائلة Video AI. وهم يقدمون مطالبة جريئة إلى حد ما لذلك ، قائلين إنه “أول نموذج مفتوح المصدر في الصناعة لتوفير حل موحد لمختلف مهام توليد الفيديو والتحرير.”
إذا تمكنت Alibaba من النجاح في تحويل المستخدمين بعيدًا عن الاضطرار إلى التوفيق بين العديد من الأدوات ، فستفصل عن محور واحد-يمكن أن يكون مغيرًا حقيقيًا للعبة.
لذا ، ماذا يمكن أن يفعل هذا الشيء بالفعل؟ حسنًا ، بالنسبة للمبتدئين ، يمكن أن يثير مقاطع الفيديو باستخدام جميع أنواع المطالبات ، بما في ذلك الأوامر النصية ، والصور الثابتة ، وحتى مقتطفات مقاطع الفيديو الأخرى.
ولكن الأمر لا يتعلق فقط بصنع مقاطع فيديو من الصفر. تدعم مجموعة أدوات التحرير المرجع إلى الصور أو الإطارات المحددة لتوجيه الذكاء الاصطناعي ، “إعادة الطلاء” المتقدمة (المزيد حول ذلك في ثانية) ، والتبديل فقط أجزاء محددة من الفيديو الحالي ، وحتى تمديد الفيديو. يعتقد Alibaba هذه الميزات “تمكين مزيج مرن من المهام المختلفة لتعزيز الإبداع.”
تخيل أنك تريد إنشاء مقطع فيديو مع شخصيات محددة تتفاعل ، ربما بناءً على بعض الصور التي لديك. يدعي فايس أنه قادر على القيام بذلك. هل حصلت على صورة ثابتة تتمنى كانت ديناميكية؟ يمكن أن يضيف نموذج الذكاء الاصطناعي مفتوح المصدر في Alibaba حركة طبيعية للمظهر لإعادتها إلى الحياة.
بالنسبة لأولئك الذين يحبون ضبط الأداء ، هناك وظائف “إعادة طلاء الفيديو” المتقدمة التي ذكرتها سابقًا. ويشمل ذلك أشياء مثل نقل الأشكال من موضوع واحد إلى آخر ، والتحكم الدقيق في الحركة ، وضبط إدراك العمق ، وحتى تغيير الألوان.
إحدى الميزات التي لفتت انتباهي هي قدرتها على “دعم إضافة أو تعديل أو حذف إلى مناطق محددة انتقائية من مقطع فيديو دون التأثير على المحيط”. هذه ميزة ضخمة لإجراء تعديلات مفصلة – لا مزيد من العبث عن طريق الخطأ بالخلفية عندما تحاول فقط تعديل عنصر صغير واحد. بالإضافة إلى ذلك ، يمكن أن يجعل قماش الفيديو الخاص بك أكبر وحتى يملأ المساحة الجديدة بالمحتوى ذي الصلة لجعل كل شيء يبدو أكثر ثراءً وأكثر توسعية.
يمكنك التقاط صورة مسطحة ، وتحويلها إلى مقطع فيديو ، وإخبار الكائنات فيه بالضبط كيفية التحرك عن طريق رسم مسار. هل تحتاج إلى تبديل حرف أو كائن مع شيء آخر تقدمه كمرجع؟ لا مشكلة. تحريك تلك الشخصيات المشار إليها؟ منتهي. السيطرة على وضعهم على وجه التحديد؟ لقد حصلت عليه.
يعطي Alibaba مثالًا على نموذج AI مفتوح المصدر وهو يلتقط صورة عمودية طويلة ونحيفة وتوسيعها بذكاء إلى مقطع فيديو عريج ، وإضافة قطع وقطع جديدة تلقائيًا عن طريق المرجع صورًا أو مطالبات أخرى. هذا أنيق جدا.
بالطبع ، فاسي ليس مجرد سحر. هناك بعض التكنولوجيا الذكية المعنية ، المصممة للتعامل مع الواقع الغالب لتحرير الفيديو. القطعة الرئيسية هي شيء يطلق عليه Alibaba وحدة حالة الفيديو (VCU) ، والتي “تدعم المعالجة الموحدة للمدخلات متعددة الوسائط مثل النص والصور والفيديو والأقنعة.”
ثم هناك ما يسمونه “بنية محول السياق”. هذا الشيء الذكي من الهندسة “حقن مفاهيم المهام المختلفة باستخدام تمثيلات رسمية للأبعاد الزمنية والمكانية.” في الأساس ، فكر في الأمر على أنه يمنح الذكاء الاصطناعى فهمًا جيدًا للوقت والمكان داخل الفيديو.
مع كل هذه التكنولوجيا الذكية ، فإن Alibaba يعتقد أن VACE سيكون نجاحًا كبيرًا في عدد قليل من المناطق. فكر في مقاطع الوسائط الاجتماعية السريعة ، وإعلانات جذابة ومحتوى التسويق ، والمؤثرات الخاصة بعد الإنتاج الشاقة للفيلم والتلفزيون ، وحتى لتوليد مقاطع فيديو تعليمية وتدريب مخصصة.
Alibaba يجعل Wan2.1-Vace مفتوح المصدر لنشر حب الذكاء الاصطناعي
بناء نماذج الذكاء الاصطناعي هذه عادة ما يكلف ثروة ويحتاج إلى قوة حوسبة ضخمة وأطنان من البيانات. إذن ، المصدر المفتوح Wan2.1-Vace؟ هذه مشكلة كبيرة.
“يساعد الوصول المفتوح على خفض الحاجز أمام المزيد من الشركات للاستفادة من الذكاء الاصطناعي ، مما يتيح لهم إنشاء محتوى مرئي عالي الجودة مصمم خصيصًا لتلبية احتياجاتهم ، بسرعة وفعالية من حيث التكلفة” ، يوضح علي بابا.
في الأساس ، تأمل Alibaba في السماح لمزيد من الأشخاص-وخاصة الشركات الأصغر والمبدعون الأفراد-بوضع أيديهم على AI من الدرجة الأولى دون كسر البنك. يعد هذا الديمقراطية للأدوات القوية دائمًا مشهدًا مرحب به.
وهم لا يسقطون نسخة واحدة فقط. هناك نموذج معلمة ضخم بقيمة 14 مليار شخص لأولئك الذين لديهم قوة حصانية خطيرة ، ومعلمة أكثر ذكاءً بسعة 1.3 مليار من الإعدادات الأخف. يمكنك الاستيلاء عليها مجانًا الآن على Hugging Face و Github ، أو عبر مجتمع Alibaba Cloud الخاص بالمصادر المفتوحة ، ModelsCope.
(مصدر الصورة: www.alibabagroup.com)
انظر أيضا: الولايات المتحدة تغلق الفرامل على قاعدة انتشار الذكاء الاصطناع
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الكبيرة من قادة الصناعة؟ تحقق من AI و Big Data Expo الذي يقام في أمستردام ، كاليفورنيا ، ولندن. تم تحديد الحدث الشامل مع الأحداث الرائدة الأخرى بما في ذلك مؤتمر الأتمتة الذكي ، و blockx ، وأسبوع التحول الرقمي ، ومعرض Cyber Security & Cloud.
استكشاف أحداث وندوات الويب القادمة الأخرى التي تعمل بها TechForge هنا.