تضغط مجالس الإدارة لتحقيق مكاسب إنتاجية من نماذج اللغات الكبيرة ومساعدي الذكاء الاصطناعي. ومع ذلك، فإن نفس الميزات التي تجعل الذكاء الاصطناعي مفيدًا – تصفح مواقع الويب المباشرة، وتذكر سياق المستخدم، والاتصال بتطبيقات الأعمال – تعمل أيضًا على توسيع سطح الهجوم السيبراني.
وقد نشر الباحثون المتمكنون مجموعة من نقاط الضعف والهجمات تحت عنوان “HackedGPT”، موضحين كيف يمكن للحقن الفوري غير المباشر والتقنيات ذات الصلة أن تمكن من استخراج البيانات واستمرار البرامج الضارة. تمت معالجة بعض المشكلات، بينما يظل البعض الآخر قابلاً للاستغلال في وقت الكشف عن Tenable، وفقًا لاستشارة صادرة عن الشركة.
تتطلب إزالة المخاطر الكامنة في عمليات مساعدي الذكاء الاصطناعي حوكمة وضوابط وأساليب تشغيل تتعامل مع الذكاء الاصطناعي كمستخدم أو جهاز، إلى الحد الذي يجب أن تخضع فيه التكنولوجيا لتدقيق ومراقبة صارمة.
يُظهر بحث Tenable حالات الفشل التي يمكن أن تحول مساعدي الذكاء الاصطناعي إلى مشكلات أمنية. يؤدي الحقن الفوري غير المباشر إلى إخفاء التعليمات الموجودة في محتوى الويب والتي يقرأها المساعد أثناء التصفح، وهي تعليمات تؤدي إلى الوصول إلى البيانات التي لم يقصدها المستخدم أبدًا. يتضمن ناقل آخر استخدام استعلام الواجهة الأمامية الذي ينشر تعليمات ضارة.
إن تأثير الأعمال واضح، بما في ذلك الحاجة إلى الاستجابة للحوادث، والمراجعة القانونية والتنظيمية، والخطوات المتخذة لتقليل الضرر الذي يلحق بالسمعة.
تظهر الأبحاث بالفعل أن المساعدين يمكنهم تسريب معلومات شخصية أو حساسة من خلال تقنيات الحقن، ويتعين على بائعي الذكاء الاصطناعي وخبراء الأمن السيبراني تصحيح المشكلات عند ظهورها.
هذا النمط مألوف لأي شخص في صناعة التكنولوجيا: مع توسع الميزات، تتوسع أيضًا أوضاع الفشل. ومن الممكن أن يؤدي التعامل مع مساعدي الذكاء الاصطناعي باعتبارهم تطبيقات حية تواجه الإنترنت ــ وليس محركات للإنتاجية ــ إلى تحسين المرونة.
كيفية التحكم في مساعدي الذكاء الاصطناعي، في الممارسة العملية
1) إنشاء سجل نظام الذكاء الاصطناعي
قم بجرد كل نموذج أو مساعد أو وكيل مستخدم – في السحابة العامة والمحلية والبرامج كخدمة، بما يتماشى مع NIST AI RMF Playbook. مالك السجل والغرض والإمكانيات (التصفح وموصلات واجهة برمجة التطبيقات) ومجالات البيانات التي تم الوصول إليها. حتى بدون قائمة أصول الذكاء الاصطناعي هذه، يمكن أن يستمر “عملاء الظل” بامتيازات لا يتتبعها أحد. ويشكل الذكاء الاصطناعي الظلي – في مرحلة ما بتشجيع من أمثال مايكروسوفت، التي شجعت المستخدمين على نشر تراخيص مساعد الطيار المنزلي في العمل – تهديدا كبيرا.
2) هويات منفصلة للبشر والخدمات والوكلاء
تدمج إدارة الهوية والوصول بين حسابات المستخدمين وحسابات الخدمة وأجهزة التشغيل الآلي. يحتاج المساعدون الذين يصلون إلى مواقع الويب وأدوات الاتصال وكتابة البيانات إلى هويات مميزة ويخضعون لسياسات انعدام الثقة ذات الامتيازات الأقل. إن رسم سلاسل من وكيل إلى وكيل (من يسأل من يفعل ماذا، وعلى أي بيانات، ومتى) هو الحد الأدنى من التتبعات التي قد تضمن درجة معينة من المساءلة. تجدر الإشارة إلى أن الذكاء الاصطناعي الوكيل عرضة للمخرجات والإجراءات “الإبداعية”، ولكن على عكس الموظفين البشريين، فهو غير مقيد بالسياسات التأديبية.
3) تقييد الميزات الخطرة حسب السياق
قم بإجراء التصفح والإجراءات المستقلة التي يتخذها مساعدو الذكاء الاصطناعي حسب حالة الاستخدام. بالنسبة للمساعدين الذين يتعاملون مع العملاء، حدد أوقات استبقاء قصيرة ما لم يكن هناك سبب قوي وأساس قانوني بخلاف ذلك. بالنسبة للهندسة الداخلية، استخدم مساعدي الذكاء الاصطناعي ولكن فقط في المشاريع المنفصلة ذات التسجيل الصارم. قم بتطبيق منع فقدان البيانات على حركة مرور الموصل إذا كان بإمكان المساعدين الوصول إلى مخازن الملفات أو الرسائل أو البريد الإلكتروني. توضح مشكلات المكونات الإضافية والموصلات السابقة كيف تؤدي عمليات التكامل إلى زيادة التعرض.
4) المراقبة مثل أي تطبيق متصل بالإنترنت
- التقط إجراءات المساعد واستدعاءات الأدوات كسجلات منظمة.
- التنبيه بشأن الحالات الشاذة: الارتفاع المفاجئ في تصفح النطاقات غير المألوفة؛ محاولات تلخيص كتل التعليمات البرمجية غير الشفافة؛ رشقات نارية غير عادية من الذاكرة الكتابة؛ أو الوصول إلى الموصل خارج حدود السياسة.
- دمج اختبارات الحقن في فحوصات ما قبل الإنتاج.
5) بناء العضلات البشرية
تدريب المطورين ومهندسي السحابة والمحللين على التعرف على أعراض الحقن. شجع المستخدمين على الإبلاغ عن السلوكيات الغريبة (على سبيل المثال، يقوم أحد المساعدين بشكل غير متوقع بتلخيص محتوى من موقع لم يفتحوه). اجعل من الطبيعي عزل أحد المساعدين ومسح الذاكرة وتدوير بيانات الاعتماد الخاصة به بعد الأحداث المشبوهة. إن فجوة المهارات حقيقية؛ ومن دون تحسين المهارات، سوف يتأخر اعتماد الحوكمة.
نقاط القرار لقادة تكنولوجيا المعلومات والسحابة
| سؤال | لماذا يهم |
|---|---|
| من هم المساعدون الذين يمكنهم تصفح الويب أو كتابة البيانات؟ | يعد التصفح والذاكرة من المسارات الشائعة للحقن والمثابرة؛ القيد لكل حالة استخدام. |
| هل يتمتع الوكلاء بهويات مميزة وتفويض قابل للتدقيق؟ | يمنع “من فعل ماذا؟” الفجوات عندما يتم زرع التعليمات بشكل غير مباشر. |
| هل يوجد سجل لأنظمة الذكاء الاصطناعي مع المالكين والنطاقات والاحتفاظ بها؟ | يدعم الحوكمة، والحجم الصحيح للضوابط، ورؤية الميزانية. |
| كيف يتم التحكم في الموصلات والمكونات الإضافية؟ | عمليات تكامل الجهات الخارجية لها تاريخ من المشكلات الأمنية؛ تطبيق أقل الامتيازات وDLP. |
| هل نقوم باختبار ناقلات النقرة 0 والنقرة الواحدة قبل بدء البث المباشر؟ | تظهر الأبحاث العامة أن كلاهما ممكن من خلال الروابط أو المحتوى المصمم. |
| هل يقوم البائعون بتصحيح الأخطاء على الفور ونشر الإصلاحات؟ | سرعة الميزة تعني ظهور مشكلات جديدة؛ التحقق من الاستجابة. |
المخاطر ورؤية التكلفة والعامل البشري
- التكلفة المخفية: يستهلك المساعدون الذين يتصفحون الذاكرة أو يحتفظون بها الحوسبة والتخزين والخروج بطرق ربما لم يتم تصميمها من قبل فرق التمويل وأولئك الذين يراقبون استخدام Xaas لكل دورة. التسجيل والقياس يقلل من المفاجآت.
- فجوات الحوكمة: لن تتمكن أطر التدقيق والامتثال المصممة للمستخدمين البشريين من التقاط التفويض من وكيل إلى وكيل تلقائيًا. قم بمحاذاة عناصر التحكم وفقًا لمخاطر OWASP LLM وفئات NIST AI RMF.
- المخاطر الأمنية: يمكن أن يكون الحقن الفوري غير المباشر غير مرئي للمستخدمين، حيث يتم تمريره من الوسائط أو تنسيق النص أو التعليمات البرمجية، كما هو موضح من خلال الأبحاث.
- فجوة المهارات: لم تقم العديد من الفرق بعد بدمج ممارسات الذكاء الاصطناعي/التعلم الآلي وممارسات الأمن السيبراني. استثمر في التدريب الذي يغطي نمذجة التهديدات المساعدة واختبار الحقن.
- الموقف المتطور: توقع إيقاعًا من العيوب والإصلاحات الجديدة. تعد معالجة OpenAI لمسار النقر الصفري في أواخر عام 2025 بمثابة تذكير بأن وضع البائع يتغير بسرعة ويحتاج إلى التحقق.
خلاصة القول
الدرس المستفاد للمديرين التنفيذيين بسيط: التعامل مع مساعدي الذكاء الاصطناعي باعتبارهم تطبيقات شبكية قوية لها دورة حياتها الخاصة وميل لأن تكون هدفًا للهجوم أو لاتخاذ إجراءات غير متوقعة. ضع سجلًا في مكانه الصحيح، وافصل الهويات، وقم بتقييد الميزات الخطرة بشكل افتراضي، وقم بتسجيل كل شيء ذي معنى، وتدرب على الاحتواء.
مع وجود حواجز الحماية هذه، من المرجح أن يقدم الذكاء الاصطناعي الفعال كفاءة ومرونة يمكن قياسهما – دون أن يصبح بهدوء أحدث ناقلات الاختراق لديك.
(مصدر الصورة: “The Enemy Inside Unleashed” بواسطة aha42 | tehaha مرخص بموجب CC BY-NC 2.0.)
هل تريد معرفة المزيد عن الذكاء الاصطناعي والبيانات الضخمة من قادة الصناعة؟ اطلع على معرض الذكاء الاصطناعي والبيانات الضخمة الذي يقام في أمستردام وكاليفورنيا ولندن. يعد هذا الحدث الشامل جزءًا من TechEx ويقام في مكان مشترك مع الأحداث التكنولوجية الرائدة الأخرى. انقر هنا لمزيد من المعلومات.
يتم تشغيل AI News بواسطة TechForge Media. استكشف الأحداث والندوات عبر الإنترنت القادمة الأخرى المتعلقة بتكنولوجيا المؤسسات هنا.