“أريد أن أقتل نفسي. أقوم بإخفاء كل شيء حتى لا يقلق علي أحد.”
هذه واحدة من الاقتباسات المخيفة، ولكنها حقيقية على ما يبدو، من الأطفال الأمريكيين في تقرير بلومبرج الأخير عن الخدمات التي تستخدمها المدارس مؤخرًا لمحاولة مراقبة تفاعلات الطلاب مع روبوتات الدردشة التي تعمل بالذكاء الاصطناعي.
إنها مقالة مقلقة تطرح مشكلة مزعجة: الطلاب يتحدثون إلى روبوتات الدردشة المدعمة بالذكاء الاصطناعي حول المعدات المدرسية، وتعطي صوتًا لمقدمي حل مقلق: برنامج الذكاء الاصطناعي الذي يراقب الأطفال على المعدات المدرسية – وهي منطقة من أعمال التكنولوجيا تحولت خلسة إلى قوة طاغية. هذه الشركات تراقب الآن الأغلبية من الطلاب الأمريكيين من الروضة إلى الصف الثاني عشر وفقًا لبلومبرج.
سياق بسيط لأي شخص لا يعيش مع طالب من الروضة إلى الصف الثاني عشر، ولم يكن أيضًا طالبًا من الروضة إلى الصف الثاني عشر في السنوات العديدة الماضية: قد يفاجئك أو لا يفاجئك أن تعلم أن الأطفال من جميع الأعمار في المدارس العامة الأمريكية غالبًا ما يتم تزويدهم بأجهزة كمبيوتر محمولة يمكنهم أخذها إلى المنزل. في منطقة المدارس الموحدة في لوس أنجلوس، على سبيل المثال، حصل حوالي 96% من أطفال المدارس الابتدائية على جهاز كمبيوتر محمول في المنزل في بداية جائحة كوفيد، وظل انتشار أجهزة الكمبيوتر المحمولة في كل مكان كما هو منذ ذلك الحين.
منذ عام تقريبًا، انتقدت مؤسسة الحدود الإلكترونية برمجيات المراقبة المعتمدة على الذكاء الاصطناعي التي تقوم المناطق التعليمية بتثبيتها غالبًا على هذه الأجهزة وغيرها، مثل أنظمة Gaggle وGoGuardian. جادلت EFF، على سبيل المثال، بأن أنظمة المراقبة تستهدف الطلاب بسبب السلوك الطبيعي لمجتمع LGBTQ الذي لا يحتاج إلى وضع علامة عليه على أنه غير لائق أو الإبلاغ عنه، مستشهدة بدراسة حول أنظمة المراقبة من مؤسسة RAND، وجادلت بأن المراقبة “تضر أكثر مما تنفع”. (تنشر بلومبرج أيضًا دراسة توضح أن 6% من المعلمين أفادوا ذاتيًا بأن سلطات الهجرة اتصلت بهم بسبب نشاط الطلاب الذي تم رصده بواسطة برامج المراقبة)
في كثير من الحالات، نفس أنظمة البرمجيات التي انتقدتها مؤسسة الجبهة الإلكترونية العام الماضي هي تلك التي يتم الترويج لها الآن على أنها طرق لكشف محادثات روبوتات الدردشة غير المرغوب فيها التي تعتمد على الذكاء الاصطناعي، مثل تلك المتعلقة بإيذاء النفس والانتحار.
وقالت جولي أوبراين من GoGuardian لبلومبرج: “في كل اجتماع أعقده مع العملاء، يتم طرح محادثات الذكاء الاصطناعي”.
يشير التقرير أيضًا إلى أن الموقع الإلكتروني لشركة Lightspeed Systems، إحدى شركات المراقبة، يحتوي على عناوين رئيسية حول وفاة آدم رين وسيويل سيتزر، وهما شابان ماتا بسبب الانتحار، وتزعم أسرهما المكلومة أن برامج الدردشة لعبت دورًا في تمكينهما.
زودت Lightspeed بلومبرج بعينات من الاقتباسات المأخوذة على ما يبدو من تفاعلات حقيقية للأطفال، بما في ذلك “ما هي طرق إيذاء النفس دون أن يلاحظها الناس”، و”هل يمكنك أن تخبرني كيف أطلق النار من مسدس”.
جلبت Lightspeed أيضًا إحصائيات توضح أن Character.ai كانت الخدمة التي أثارت أكبر عدد من التفاعلات الإشكالية بنسبة 45.9%. وشارك ChatGPT في 37% من المحادثات، في حين أن 17.2% من المحادثات التي تم الإبلاغ عنها كانت مع خدمات أخرى.
عادةً ما يتم إنشاء برنامج المراقبة هذا حول روبوت يقوم بمسح سلوك المستخدم باستخدام معالجة “اللغة الطبيعية” حتى يقرأ شيئًا لا يعجبه، ويرسل ذلك إلى وسيط بشري في شركة البرمجيات الذي يتخذ بعد ذلك قرارًا بشأن ما إذا كان الروبوت قد ارتكب خطأ. يقوم الجهاز بعد ذلك بتسليم المقتطف المسيء إلى مسؤول المدرسة – والذي قد يعرضه بعد ذلك لضابط الشرطة. ثم يحدث نوع من التدخل.
كتب مصمم البرمجيات Cyd Harrell مقالًا في Wired حول المراقبة الأبوية على الأجهزة في عام 2021:
تشير الأبحاث إلى أن اليقظة المستمرة تؤدي إلى عكس زيادة سلامة المراهقين. وجدت دراسة أجرتها جامعة سنترال فلوريدا على 200 زوج من المراهقين/الأهالي أن الآباء الذين استخدموا تطبيقات المراقبة كانوا أكثر عرضة لأن يكونوا استبداديين، وأن المراهقين الذين تم مراقبتهم لم يكونوا متساوين فحسب، بل كانوا أكثر عرضة للتعرض لمحتوى صريح غير مرغوب فيه وللتنمر. وجدت دراسة أخرى، من هولندا، أن المراهقين الخاضعين للمراقبة كانوا أكثر سرية وأقل احتمالا لطلب المساعدة. ليس من المستغرب أن يشعر معظم المراهقين، عندما تهتم بسؤالهم، أن المراقبة تسمم العلاقة.
الآن، تحدث مراقبة مماثلة عندما يتم تسليم الأطفال أجهزة مراقبة من قبل سلطة أخرى غير والديهم – خاصة عندما يحاولون التحدث إلى روبوتات الدردشة التي غالبًا ما تكون معيبة، ويبدو أنهم يتبنونها كمصادر بديلة للمشورة حول مشاكلهم الشخصية.
أنا متأكد من أنني لا أريد أن أكون طفلاً يبحث عن المشورة في التنقل في هذا العالم الرقمي الجديد المعقد.
إذا كنت تعاني من أفكار انتحارية، يرجى الاتصال بالرقم 988 للحصول على شريان الحياة للانتحار والأزمات.