أدوات “AI” هي كل الغضب في الوقت الحالي ، حتى بين المستخدمين الذين ليسوا كل هذا الأذكياء عندما يتعلق الأمر بالبرامج التقليدية أو الأمان – وهذا يفتح جميع أنواع الفرص الجديدة للمتسللين وغيرهم ممن يرغبون في الاستفادة منها. اكتشف فريق بحث جديد طريقة لإخفاء هجمات الحقن الفوري في صور تم تحميلها.
هجوم الحقن الفوري هو وسيلة لإخفاء التعليمات الخاصة بـ LLM أو نظام “الذكاء الاصطناعي” الآخر ، وعادة ما لا يستطيع المشغل البشري رؤيتها. إنه “الخاسر سايس-ما” من أمان الكمبيوتر. مثال رائع هو إخفاء محاولة التصيد في رسالة بريد إلكتروني في نص عادي ملون نفس الخلفية ، مع العلم أن الجوزاء سوف يلخص النص على الرغم من أن المستلم الإنساني لا يستطيع قراءته.
اكتشف فريق بحث من شخصين من Bits أنه يمكنهم أيضًا إخفاء هذه التعليمات في الصور ، مما يجعل النص غير مرئي للعين البشرية ولكن تم الكشف عنه ونسخه بواسطة أداة AI عندما يتم ضغط الصورة للتحميل. الضغط – والتحف التي تأتي معها – ليست جديدة. ولكن إلى جانب الاهتمام المفاجئ بإخفاء الرسائل النصية العادية ، فإنه ينشئ طريقة جديدة للحصول على تعليمات إلى LLM دون أن يتم إرسال هذه التعليمات.
في المثال الذي تم تسليط الضوء عليه بواسطة Trail of Bits و BleepingComputer ، يتم تسليم صورة إلى مستخدم ، ويقوم المستخدم بتحميل الصورة إلى Gemini (أو يستخدم شيئًا مثل أداة Android المدمجة في الدائرة إلى البحث) ، ويصبح النص المخفي في الصورة مرئيًا حيث يضغطها على الواجهة الخلفية من Google قبل “القراءة” على التوفير على نطاق النطاق الترددي وقوة المعالجة. بعد ضغطه ، يتم حقن النص السريع بنجاح ، ويطلب من Gemini إرسال معلومات التقويم الشخصية للمستخدم إلى طرف ثالث بالبريد الإلكتروني.
هذا كثير من العمل الأسطوري للحصول على كمية صغيرة نسبيًا من البيانات الشخصية ، ويجب تصميم كل من طريقة الهجوم الكاملة والصورة نفسها مع نظام “AI” المحدد الذي يتم استغلاله. لا يوجد دليل على أن هذه الطريقة بالذات كانت معروفة للمتسللين من قبل أو يتم استغلالها بنشاط في وقت كتابة هذا التقرير. لكنه يوضح كيف عمل ضار نسبيا – مثل سؤال LLM “ما هذا الشيء؟” مع لقطة شاشة – يمكن تحويلها إلى متجه هجوم.