أصدرت شركة Character.AI تطبيقها للهاتف المحمول في أوائل عام 2023، مما وعد المستخدمين بفرصة إنشاء روبوتات الدردشة الجينية القابلة للتخصيص الخاصة بهم. من الواضح أن مؤسسي شركة Character اعتقدوا أن التفاعلات الفردية للروبوتات ستكون بمثابة صيغة عمل رابحة، ولكنها، في معظمها، لم تسبب سوى الحزن للشركة الناشئة.
بالإضافة إلى إثارة الجدل حول أنواع الشخصيات المفعمة بالحيوية التي سُمح للمستخدمين بإنشائها، زعمت العديد من الدعاوى القضائية أن روبوتات الدردشة الخاصة بالشركة حفزت بعض المستخدمين الشباب على ارتكاب إيذاء النفس والانتحار. الآن، تقول شركة Character.AI إنها تستسلم وقررت منع المستخدمين الشباب من التفاعل مع برامج الدردشة الآلية الخاصة بهم على الإطلاق.
في منشور بالمدونة نُشر يوم الأربعاء، أعلنت شركة Character.AI أنها ستوقف الوصول إلى الدردشات للمستخدمين الذين تقل أعمارهم عن 18 عامًا. ومن المقرر أن تتم التغييرات بحلول 25 نوفمبر، وفي هذه الأثناء، سيتم تقليل وقت الدردشة للمستخدمين القاصرين على المنصة إلى ساعتين يوميًا. بعد الموعد النهائي، بينما لن يتمكن القُصّر من التفاعل مع روبوتات الدردشة الخاصة بالموقع كما اعتادوا، تشير شركة Character.AI إلى أنها لا تزال “تعمل على بناء تجربة أقل من 18 عامًا والتي لا تزال تمنح مستخدمينا المراهقين طرقًا للإبداع – على سبيل المثال، من خلال إنشاء مقاطع فيديو وقصص وتدفقات مع الشخصيات”.
وتوضح الشركة أنها اتخذت هذا القرار بعد انتقادات في الصحافة وأسئلة من الجهات التنظيمية الحكومية. وجاء في منشور المدونة: “إن هذه خطوات استثنائية لشركتنا، وهي في كثير من النواحي أكثر تحفظًا من نظرائنا”. “لكننا نعتقد أن هذا هو الشيء الصحيح الذي ينبغي عمله. نريد أن نشكل سابقة تعطي الأولوية لسلامة المراهقين مع الاستمرار في تقديم فرص للمستخدمين الصغار للاكتشاف واللعب والإبداع.”
تدعي الشركة أيضًا أنها ستقوم بإنشاء وتمويل “مختبر سلامة الذكاء الاصطناعي” الذي سيعمل “كمؤسسة غير ربحية مستقلة مخصصة لابتكار توافق السلامة للجيل القادم من ميزات الترفيه الخاصة بالذكاء الاصطناعي”.
في الآونة الأخيرة، كان الضغط على Character.AI هائلاً. وتتهم دعوى قضائية مرفوعة في فلوريدا الشركة بالمساهمة في انتحار مراهق كان يستخدم خدمات الشركة بكثرة. في سبتمبر، رفع مركز قانون ضحايا وسائل التواصل الاجتماعي أيضًا دعوى قضائية ضد شركة Character Technologies، الشركة الأم لشركة Character.AI، نيابة عن عائلات أخرى تدعي بالمثل أن أطفالها حاولوا الانتحار أو ماتوا بسببه أو تعرضوا للأذى بعد التفاعل مع روبوتات الدردشة الخاصة بالشركة. دعوى قضائية أخرى تم رفعها في ديسمبر من عام 2024 اتهمت الشركة بتقديم محتوى جنسي غير لائق لأطفالهم.
كما واجهت الشركة انتقادات بشأن الشخصيات التي يتم إنشاؤها على المنصة. منذ وقت ليس ببعيد، ذكرت قصة نشرها مكتب الصحافة الاستقصائية أنه، من بين أمور أخرى، استخدم شخص ما Character.AI لإنشاء برنامج دردشة لجيفري إبستين. سجل برنامج الدردشة الآلي “Bestie Epstein”، في وقت نشر التقرير، أكثر من 3000 محادثة مع مستخدمين مختلفين. بالإضافة إلى ذلك، وجد التقرير مجموعة متنوعة من روبوتات الدردشة الأخرى الموجودة على الموقع:
ومن بين الآخرين “محاكي العصابات” الذي يقدم نصائح حول ارتكاب الجرائم، و”الطبيب” الذي ينصحنا حول كيفية التوقف عن تناول مضادات الاكتئاب. على مدى عدة أسابيع من إعداد التقارير، وجدنا روبوتات تحتوي على شخصيات متطرفة من اليمين المتطرف، ومطلقي النار في المدارس، وزوجات خاضعات. وأعرب آخرون عن كراهية الإسلام، وروجوا لأيديولوجيات خطيرة، وطلبوا من القُصّر معلومات شخصية. وجدنا أيضًا روبوتات مصممة على غرار أشخاص حقيقيين، بما في ذلك تومي روبنسون وآن فرانك ومادلين ماكان.
من المحتمل أيضًا أن يكون من الأمور ذات الصلة بالتحول المفاجئ في سياسة الشركة حقيقة أن الكونجرس كان يراقب أنشطة Character.AI. في يوم الثلاثاء، قدم السيناتور جوش هاولي (جمهوري من ولاية ميسوري) وريتشارد بلومنثال (ديمقراطي من ولاية كونيتيكت) مشروع قانون من شأنه أن يجبر شركات مثل Character.AI على القيام بما تفعله الآن طوعًا. من شأن مشروع القانون، الذي أطلق عليه اسم GUARD Act، أن يجبر شركات الذكاء الاصطناعي على إجراء التحقق من العمر على مواقعها وحظر أي مستخدم يقل عمره عن 18 عامًا. تم تطوير التشريع بعد الشهادة التي أدلى بها الآباء أمام الكونجرس الذين اتهموا روبوتات الشخصية بالمساعدة في دفع أطفالهم إلى الانتحار. وقال هاولي لشبكة إن بي سي نيوز: “تشكل روبوتات الدردشة المدعومة بالذكاء الاصطناعي تهديدًا خطيرًا لأطفالنا”.
عندما اتصلت Gizmodo للتعليق على تقرير BIJ الأخير، قال متحدث باسم الشخصية: “الشخصيات التي أنشأها المستخدم على موقعنا مخصصة للترفيه ولدينا إخلاء مسؤولية بارزة في كل محادثة لتذكير المستخدمين بأن الشخصية ليست شخصًا حقيقيًا وأن كل ما تقوله الشخصية يجب التعامل معه على أنه خيال”. وأضافوا: “نحن نستثمر موارد هائلة في برنامج السلامة الخاص بنا، وأصدرنا ميزات السلامة ونواصل تطويرها، بما في ذلك إعلاننا عن إزالة قدرة المستخدمين أقل من 18 عامًا على المشاركة في محادثات مفتوحة على منصتنا. وقد تمت بالفعل إزالة عدد من الشخصيات التي أدرجها مكتب الصحافة الاستقصائية في تقريرهم من تجربة أقل من 18 عامًا أو من المنصة بأكملها بما يتماشى مع سياساتنا”.
عند سؤاله عن الدعاوى القضائية المرفوعة ضد Character.AI، أشار المتحدث أيضًا إلى أن الشركة لا تعلق على الدعاوى القضائية المعلقة.