قدم باحثون من آبل في ورقة بحثية جديدة نموذج UI-JEPA، وهو معمارية تقلل جدًا من المتطلبات الحسابية لفهم واجهة المستخدم مع الحفاظ على الأداء العالي.
ويُعد فهم نوايا المستخدم بناءً على تفاعلات واجهة المستخدم تحديًا بالغ الأهمية في إنشاء تطبيقات الذكاء الاصطناعي البديهية والمفيدة.
ويهدف نموذج UI-JEPA إلى تمكين فهم واجهة المستخدم عبر الجهاز، مما يمهد الطريق لتطبيقات مساعد الذكاء الاصطناعي المستجيبة والمحافظة على الخصوصية.
وقد يتناسب هذا مع إستراتيجية آبل الواسعة لتعزيز الذكاء الاصطناعي عبر الجهاز.
ويتطلب فهم نوايا المستخدم من تفاعلات واجهة المستخدم معالجة المزايا المتعددة الوسائط، ويشمل ذلك الصور واللغة الطبيعية، من أجل تحديد العلاقات الزمنية في تسلسلات واجهة المستخدم.
وقال المؤلفان يي تشنغ فو، باحث في التعلم الآلي متدرب في آبل، ورافيتيجا أنانثا، كبير علماء التعلم الآلي في آبل: “تقدم التطورات في النماذج اللغوية الكبيرة المتعددة الوسائط مسارات للتخطيط الشخصي من خلال إضافة سياقات شخصية بصفتها جزءًا من المطالبة بتحسين التوافق مع المستخدمين”.
وأضاف المؤلفان: “تتطلب هذه النماذج موارد حسابية مكثفة وأحجام نماذج ضخمة وتقدم زمن وصول مرتفع، مما يجعلها غير عملية في السيناريوهات التي تتطلب حلولًا عبر الجهاز مع زمن وصول منخفض وخصوصية محسنة”.
ومن ناحية أخرى، لا تزال النماذج الصغيرة الحالية التي يمكنها تحليل نية المستخدم تتطلب عمليات حسابية كثيرة لا يمكن تشغيلها بكفاءة عبر أجهزة المستخدم.
ويستمد نموذج UI-JEPA الإلهام من JEPA، وهو نهج تعليمي ذاتي الإشراف قدمه كبير علماء الذكاء الاصطناعي في ميتا، يان لوكون، في عام 2022.
وبدلًا من محاولة إعادة إنشاء كل تفاصيل بيانات الإدخال، يركز JEPA على تعلم المزايا العالية المستوى التي تلتقط الأجزاء الأكثر أهمية في المشهد.
وعلى عكس الأساليب التوليدية التي تحاول ملء كل التفاصيل المفقودة، يستطيع نهج JEPA التخلص من المعلومات غير المتوقعة، مما يؤدي إلى تحسين التدريب وكفاءة العينة، وهو أمر بالغ الأهمية نظرًا إلى محدودية توفر مقاطع فيديو واجهة المستخدم العالية الجودة والمصنفة.
ويعتمد UI-JEPA على نقاط القوة في JEPA ويتكيف معها لفهم واجهة المستخدم. ووفقًا لباحثي شركة آبل، فإن نموذج UI-JEPA يتفوق في المهام التي تنطوي على تطبيقات مألوفة، في حين أنه يواجه تحديات مع التطبيقات غير المألوفة.
ويتصور باحثو آبل عدة استخدامات محتملة لنموذج UI-JEPA، مثل إنشاء حلقات ردود فعل آلية لوكلاء الذكاء الاصطناعي من أجل التعلم المستمر من التفاعلات دون تدخل بشري، ويقلل هذا النهج تكاليف التعليقات التوضيحية ويضمن خصوصية المستخدم.
كما تشمل الاستخدامات إمكانية إدماج نموذج UI-JEPA في إطار عمل وكيل الذكاء الاصطناعي المصمم لتتبع نية المستخدم عبر تطبيقات ووسائط مختلفة.
ويستطيع نموذج UI-JEPA العمل بصفته وكيل الإدراك من أجل تحديد نية المستخدم وتخزينها في نقاط زمنية مختلفة.
وعندما يتفاعل المستخدم مع مساعد رقمي، يمكن للنظام بعد ذلك استرداد القصد الأكثر صلة وإنشاء استدعاء واجهة برمجة التطبيقات المناسب لتلبية طلب المستخدم.