وسط الدعاوى القضائية والانتقادات، تكشف شركة Character AI عن أدوات أمان جديدة للمراهقين
تواجه شركة Character AI قضيتين قضائيتين على الأقل، حيث يتهم المدعون الشركة بالمساهمة في انتحار مراهق وتعريض طفل يبلغ من العمر 9 سنوات إلى “محتوى جنسي مفرط”، بالإضافة إلى الترويج لإيذاء النفس لمستخدم يبلغ من العمر 17 عامًا.
وسط هذه الدعاوى القضائية المستمرة وانتقادات المستخدمين واسعة النطاق، أعلنت الشركة المدعومة من Google عن أدوات جديدة لسلامة المراهقين اليوم: نموذج منفصل للمراهقين، وكتل المدخلات والمخرجات بشأن الموضوعات الحساسة، وإشعار ينبه المستخدمين بالاستخدام المستمر، وإخلاء مسؤولية أكثر بروزًا لإعلام المستخدمين بذلك شخصيات الذكاء الاصطناعي الخاصة بها ليست أشخاصًا حقيقيين.
تتيح المنصة للمستخدمين إنشاء شخصيات مختلفة تعمل بالذكاء الاصطناعي والتحدث معهم عبر المكالمات والرسائل النصية. أكثر من 20 مليون مستخدم يستخدمون الخدمة شهريًا.
أحد أهم التغييرات التي تم الإعلان عنها اليوم هو نموذج جديد للمستخدمين أقل من 18 عامًا والذي سيخفف ردوده على موضوعات معينة مثل العنف والرومانسية. وقالت الشركة إن النموذج الجديد سيقلل من احتمال تلقي المراهقين لردود غير مناسبة. منذ أن تحدثت TechCrunch إلى الشركة، ظهرت تفاصيل حول حالة جديدة، والتي سلطت الضوء على شخصيات يُزعم أنها تتحدث عن محتوى جنسي مع المراهقين، من المفترض أنها تقترح على الأطفال قتل والديهم بسبب الحدود الزمنية لاستخدام الهاتف وتشجيع إيذاء النفس.
قالت شركة Character AI إنها تعمل على تطوير مصنفات جديدة على كل من طرفي الإدخال والإخراج – خاصة للمراهقين – لحظر المحتوى الحساس. وأشارت إلى أنه عندما تكتشف مصنفات التطبيق لغة الإدخال التي تنتهك شروطها، تقوم الخوارزمية بتصفيةها من المحادثة بحرف معين.
تقوم الشركة أيضًا بتقييد المستخدمين من تحرير استجابات الروبوت. إذا قمت بتحرير رد من أحد الروبوتات، فقد لاحظ ذلك وقام بتكوين ردود لاحقة مع وضع تلك التعديلات في الاعتبار.
بالإضافة إلى تعديلات المحتوى هذه، تعمل الشركة الناشئة أيضًا على تحسين طرق اكتشاف اللغة المتعلقة بإيذاء النفس والانتحار. في بعض الحالات، قد يعرض التطبيق نافذة منبثقة تحتوي على معلومات حول شريان الحياة الوطني لمنع الانتحار.
يقوم Character AI أيضًا بإصدار إشعار انتهاء المهلة الذي سيظهر عندما يتفاعل المستخدم مع التطبيق لمدة 60 دقيقة. وفي المستقبل، ستسمح الشركة للمستخدمين البالغين بتعديل بعض الحدود الزمنية مع الإشعار. على مدى السنوات القليلة الماضية، نفذت منصات الوسائط الاجتماعية مثل TikTok وInstagram وYouTube أيضًا ميزات التحكم في وقت الشاشة.
وفقًا لبيانات من شركة التحليلات Sensor Tower، قضى مستخدم تطبيق Character AI العادي 98 دقيقة يوميًا على التطبيق طوال هذا العام، وهو أعلى بكثير من حد الإشعارات البالغ 60 دقيقة. على سبيل المقارنة، فإن هذا المستوى من التفاعل يتساوى مع TikTok (95 دقيقة/يوم)، وأعلى من YouTube (80 دقيقة/يوم)، وTalkie and Chai (63 دقيقة/يوم)، وReplika (28 دقيقة/يوم).
سيرى المستخدمون أيضًا إخلاء المسؤولية الجديدة في محادثاتهم. غالبًا ما ينشئ الأشخاص شخصيات تحتوي على كلمات “طبيب نفساني” أو “معالج” أو “طبيب” أو مهن أخرى مماثلة. وستعرض الشركة الآن لغة تشير إلى أنه لا ينبغي للمستخدمين الاعتماد على هذه الأحرف للحصول على المشورة المهنية.
والجدير بالذكر أنه في دعوى قضائية تم رفعها مؤخرًا، قدم المدعون أدلة على شخصيات تخبر المستخدمين بأنها حقيقية. وفي قضية أخرى، تتهم الدعوى الشركة بلعب دور في انتحار مراهق، وتزعم الدعوى أن الشركة تستخدم أنماطًا مظلمة وتشويه نفسها على أنها “شخص حقيقي، ومعالج نفسي مرخص، وعاشق للبالغين”.
في الأشهر المقبلة، ستطلق شركة Character AI أول مجموعة من أدوات الرقابة الأبوية التي ستوفر نظرة ثاقبة للوقت الذي يقضيه الأطفال على المنصة والشخصيات التي يتحدث إليها الأطفال أكثر من غيرها.
إعادة صياغة شخصية الذكاء الاصطناعي
في محادثة مع TechCrunch، وصف الرئيس التنفيذي بالإنابة للشركة، دومينيك بيريلا، الشركة بأنها شركة ترفيه وليست خدمة مصاحبة للذكاء الاصطناعي.
“على الرغم من وجود شركات في هذا المجال تركز على ربط الأشخاص برفاق الذكاء الاصطناعي، فإن هذا ليس ما نسعى إليه في Character AI. ما نريد القيام به هو إنشاء منصة ترفيهية أكثر فائدة. وهكذا، بينما ننمو ونسعى نحو تحقيق هذا الهدف المتمثل في جعل الأشخاص يصنعون القصص ويشاركونها على منصتنا، نحتاج إلى تطوير ممارسات السلامة لدينا لنكون من الدرجة الأولى.
من الصعب على أي شركة أن تتوقع كيف ينوي المستخدمون التفاعل مع روبوت الدردشة المبني على نماذج لغوية كبيرة، خاصة عندما يتعلق الأمر بالتمييز بين الترفيه والمرافقين الافتراضيين. أشار تقرير لصحيفة واشنطن بوست نُشر في وقت سابق من هذا الشهر إلى أن المراهقين غالبًا ما يستخدمون روبوتات الدردشة المدعمة بالذكاء الاصطناعي في أدوار مختلفة، بما في ذلك العلاج أو المحادثات الرومانسية، ويشاركون الكثير من مشكلاتهم معهم.
وأشار بيريلا، الذي تولى إدارة الشركة بعد أن غادر مؤسسوها إلى جوجل، إلى أن الشركة تحاول إنشاء المزيد من تنسيقات سرد القصص متعددة الأحرف. وقال إن احتمال تكوين رابطة ذات طابع معين أقل بسبب هذا. ووفقا له، فإن الأدوات الجديدة التي تم الإعلان عنها اليوم ستساعد المستخدمين على فصل الشخصيات الحقيقية عن الشخصيات الخيالية (وعدم أخذ نصيحة الروبوت في ظاهرها).
وعندما سألت موقع TechCrunch عن كيفية تفكير الشركة في الفصل بين المحادثات الترفيهية والشخصية، أشارت بيريلا إلى أنه من المقبول إجراء محادثة شخصية مع الذكاء الاصطناعي في بعض الحالات. تشمل الأمثلة التدرب على محادثة صعبة مع أحد الوالدين أو التحدث عن التحدث إلى شخص ما.
“أعتقد، على مستوى ما، أن هذه الأشياء إيجابية أو يمكن أن تكون إيجابية. الشيء الذي تريد الحذر منه وتعليم الخوارزمية الخاصة بك للحماية منه هو عندما يجري المستخدم محادثة في اتجاه إشكالي أو خطير بطبيعته. وقال إن إيذاء النفس هو المثال الأكثر وضوحا.
وأكد جيري روتي، رئيس قسم الثقة والسلامة في المنصة، أن الشركة تعتزم إنشاء مساحة محادثة آمنة. وقال إن الشركة تقوم ببناء وتحديث المصنفات بشكل مستمر لحظر موضوعات مثل المحتوى الجنسي غير التوافقي أو الأوصاف الرسومية للأفعال الجنسية.
على الرغم من وضع نفسها كمنصة لسرد القصص والترفيه، إلا أن حواجز الحماية الخاصة بـ Character AI لا يمكنها منع المستخدمين من إجراء محادثة شخصية عميقة تمامًا. وهذا يعني أن الخيار الوحيد أمام الشركة هو تحسين نماذج الذكاء الاصطناعي الخاصة بها لتحديد المحتوى الضار المحتمل، مع أمل تجنب وقوع حوادث خطيرة.
