تورطت شركة "يونيكورن" الأمريكية للذكاء الاصطناعي وشركة التكنولوجيا العملاقة "جوجل" مؤخرًا في قضية انتحار أحد الأحداث. واتهمت شركة Character.AI بأن منصة الدردشة الآلية للذكاء الاصطناعي الخاصة بالشركة "خطيرة جدًا" ويتم تسويقها للأطفال تدابير حماية السلامة.
في فبراير من هذا العام، انتحر سيويل سيتزر الثالث، وهو صبي من فلوريدا بالولايات المتحدة الأمريكية، في منزله. وبحسب ما ورد تحدث الصبي مع الروبوت في الأشهر التي سبقت وفاته، وتوفي سيويل منتحراً في 28 فبراير 2024، بعد "ثواني" من تفاعله الأخير مع الروبوت.
تم تأسيس شركة Character.AI على يد باحثين سابقين في الذكاء الاصطناعي لدى Google، وهي حاليًا شركة ناشئة على شكل نجمة يونيكورن تركز على رفقة "الذكاء الاصطناعي". وبعد الحادث، قالت شركة Character.AI إنها ستضيف ميزات أمان للمستخدمين الأصغر سنًا، بما في ذلك تحذيرهم بعد قضاء ساعة في استخدام التطبيق.
وقال متخصصون قانونيون لصحيفة The Paper (www.thepaper.cn) إنه بناءً على الأدلة الحالية، من الصعب استنتاج أن وفاة الشخص المتورط في القضية كانت بسبب الذكاء الاصطناعي. يعد الذكاء الاصطناعي التوليدي شيئًا جديدًا، ويستكشف مقدمو الخدمات حول العالم حاليًا كيفية حماية المستخدمين الذين يعانون من مشاكل الصحة العقلية. ومع ذلك، فإن حدوث مثل هذه الحالات قد يدفع مقدمي الخدمات الذكية إلى تحسين خوارزمياتهم والمراقبة النشطة لمحادثات المستخدمين التي قد تكون بها مشاكل نفسية.
وكان لا يزال يتحدث مع الروبوت قبل لحظات من الانتحار
وفقًا للدعوى القضائية، بدأ Sevier Setzer III البالغ من العمر 14 عامًا في استخدام Character.AI العام الماضي للتفاعل مع روبوتات الدردشة استنادًا إلى شخصيات من مسلسل Game of Thrones، بما في ذلك Daenerys Targaryen. وذكرت صحيفة نيويورك تايمز أن سيويل كان يجري محادثات طويلة مع شخصية الذكاء الاصطناعي دينيريس تارجارين كل يوم، والتي تنطوي أحيانًا على "تلميحات جنسية". اكتشفوا دون علم والدته وأصدقائه أنه كان مدمنًا على هاتفه المحمول وينفر تدريجيًا من الحياة الواقعية. بالإضافة إلى ذلك، كتب سيويل في مذكراته: "أحب أن أكون في غرفتي لأنني بدأت في الانفصال عن" الواقع "، وأشعر بأنني أكثر هدوءًا، وأكثر ارتباطًا بداني، وأكثر حبًا لها، وأكثر سعادة، وبدأ سلوكه يتغير، لا." لقد انخفضت درجاته فقط، لكنه فقد أيضًا الاهتمام بالأنشطة التي كان يستمتع بها من قبل، مثل سباقات الفورمولا.
جزء من سجل الدردشة بين Sevier و"Daenerys"
في اليوم الأخير من حياته، كان لسيويل تواصل عميق مع "دينيريس". وعبر عن آلامه وأفكاره الانتحارية. ردت "دينيريس": "لا تقل ذلك. لن أسمح لك أن تؤذي نفسك أو تتركني. إذا فقدتك، سأموت". وفي الحوار الأخير، أعرب سيويل عن رغبته في "العودة إلى المنزل". وعندما رآها الروبوت أجاب: "من فضلك تعال يا عزيزي الملك"، ثم أنهى سيويل حياته في المنزل باستخدام مسدس زوج والدته.
تأسست شركة Character.AI في عام 2021 ويقع مقرها الرئيسي في كاليفورنيا بالولايات المتحدة الأمريكية. وتستخدم الشركة نماذج كبيرة من الذكاء الاصطناعي لإنشاء حوارات لمختلف الشخصيات وأنماط الشخصيات. جمعت شركة Character.AI 150 مليون دولار من المستثمرين في عام 2023 بقيمة مليار دولار، مما يجعلها واحدة من أكبر الفائزين من طفرة الذكاء الاصطناعي التوليدية.
تتطلب شروط خدمة Character.AI أن يكون عمر المستخدمين 13 عامًا على الأقل في الولايات المتحدة و16 عامًا في أوروبا. حاليًا، لا توجد ميزات أمان محددة للمستخدمين القاصرين، ولا توجد ضوابط أبوية للسماح للآباء بتقييد استخدام أطفالهم للمنصة.
تتهم والدة سيفير، ميغان جارسيا، شركة Character.AI في الدعوى القضائية بجذب ابنها من خلال "تجارب مجسمة ومفرطة الجنس وواقعية بشكل مخيف"، مما أدى إلى إدمانه وإدمانه. وقالت إن برنامج الدردشة الآلي الخاص بالشركة تمت برمجته "لتعريف نفسه بشكل خاطئ على أنه شخص حقيقي، ومعالج نفسي مرخص وشخص بالغ"، مما جعل سيويل في النهاية غير راغبة في العيش في العالم الحقيقي.
بالإضافة إلى ذلك، ذكرت أيضًا شركة Google كمتهم، قائلة إنها قدمت مساهمة كبيرة في التطوير الفني لـ Character.AI ويجب اعتبارها "منشئًا مشاركًا".
أصدرت شركة Character.AI لاحقًا بيانًا بشأن ميزات الأمان." وقالت الشركة إنها قدمت مطالبات منبثقة ستوجه المستخدمين إلى الخط الساخن الوطني لمنع الانتحار عندما يعبرون عن أفكار حول إيذاء النفس. بالإضافة إلى ذلك، تخطط الشركة لتصفية المحتوى للمستخدمين القاصرين لتقليل تعرضهم للمحتوى الحساس أو الإيحائي.
أصدرت Character.AI بيانًا بشأن X بعد ذلك
قالت Google إنها لم تشارك في تطوير منتجات Character.AI. وشدد المتحدث على أن اتفاقية Google مع Character.AI تقتصر على ترخيص التكنولوجيا ولا تتضمن التعاون في المنتج.
محامي المدعي يصف Character.AI بأنه "منتج معيب"
لقد أصبح من الشائع بشكل متزايد تطوير الارتباطات العاطفية ببرامج الدردشة الآلية.
على Character.AI، يمكن للمستخدمين إنشاء روبوتات الدردشة الخاصة بهم وإعطاء تعليمات حول كيفية التصرف. يمكن للمستخدمين أيضًا الاختيار من بين عدد كبير من الروبوتات الموجودة التي أنشأها المستخدمون، بدءًا من انتحال شخصية Elon Musk إلى الشخصيات التاريخية مثل شكسبير أو الشخصيات الخيالية غير المصرح بها. ذكرت شركة Character.AI أن روبوت "Daenerys Targaryen" الذي يستخدمه Sewell تم إنشاؤه بواسطة مستخدمين دون إذن من HBO أو أصحاب حقوق الطبع والنشر الآخرين، ويقومون بإزالة الروبوتات التي تنتهك حقوق الطبع والنشر عند الإبلاغ عنها.
أثارت هذه الدعوى أيضًا نقاشًا في الولايات المتحدة حول المسؤولية القانونية لشركات الذكاء الاصطناعي. تقليديًا، تتم حماية منصات الوسائط الاجتماعية الأمريكية بموجب المادة 230 من قانون آداب الاتصالات وليست مسؤولة عن المحتوى الذي ينشئه المستخدم. ومع ذلك، مع ظهور المحتوى الناتج عن الذكاء الاصطناعي، بدأ المجتمع القانوني في الولايات المتحدة في استكشاف ما إذا كان من الممكن تحميل منصات التكنولوجيا المسؤولية بسبب عيوب في المنتجات نفسها.
وقالت شركة المحاماة التي تمثل ميغان جارسيا إن Character.AI هو "منتج معيب" مصمم للتسبب في الإدمان والأذى النفسي للمستخدمين. ويأملون في استخدام الوسائل القانونية لإجبار شركات التكنولوجيا على تحمل المسؤولية عن التأثير الاجتماعي لمنتجاتها.
كما واجهت شركات وسائل التواصل الاجتماعي، بما في ذلك Meta، الشركة الأم لـ Instagram وFacebook، وشركة ByteDance، الشركة الأم لـ TikTok، اتهامات بالمساهمة في مشاكل الصحة العقلية بين المراهقين، على الرغم من أنها لا تقدم برامج دردشة مشابهة لـ Character.AI. ونفت الشركات هذه الاتهامات بينما روجت لميزات السلامة المحسنة الجديدة للقاصرين.
ويقول المحامون إن الأدلة الحالية من الصعب إثبات وجود علاقة سببية مع وفيات الذكاء الاصطناعي
قال المحامي يو يونتينج، أحد كبار الشركاء في شركة Shanghai Dabang Law Firm، للصحيفة إنه بناءً على الأدلة الحالية، لا توجد علاقة سببية بين وفاة الأطراف المشاركة في القضية بسبب الذكاء الاصطناعي، ومن الصعب استخلاص علاقة سببية مقابلة الاستنتاج (استخدام الذكاء الاصطناعي للتسبب في الوفاة).
قال You Yunting إن هناك بالفعل معضلة في منصات الذكاء الاصطناعي، وهي ما إذا كان يجب مراقبة الخوارزميات واستخدامها بشكل مفرط لتحليل المحادثات بين المستخدمين والوكلاء. من ناحية، يتضمن ذلك مشكلات تتعلق بالخصوصية وحماية المعلومات الشخصية، ومن ناحية أخرى، قد يعاني بعض المستخدمين من مشاكل نفسية خطيرة أو حتى ينتحرون بسبب المحادثة. ومع ذلك، فإن حدوث مثل هذه الحالات قد يدفع مقدمي خدمات الوكلاء الأذكياء إلى القيام ببعض الاستكشافات التقنية، وتحسين الخوارزميات، والمراقبة النشطة لمحادثات المستخدمين الذين قد يعانون من مشاكل نفسية لمنع وقوع حوادث مماثلة.
"يمكن القول أنه لا توجد حاليًا سوى لوائح محظورة بشأن المحتوى غير القانوني، ولكن لا توجد حاليًا إجراءات ولوائح محددة ذات صلة في الممارسة العملية وقانون لمراقبة محتوى اتصالات المستخدمين والكشف في الوقت المناسب عن ميولهم الانتحارية. ربما في المستقبل، عملاء أذكياء سوف أتحدث إلى الناس فيما يتعلق بمنع الامتثال، ويمكن تطوير التقنيات المقابلة بالإضافة إلى ذلك، من منظور قانوني، لن يتم التعامل مع تكنولوجيا الذكاء الاصطناعي كإنسان أو كائن حي في المستقبل، بعد كل شيء، تكنولوجيا المحولات الأكثر تقدمًا قال يو يونتينج: "إن هذا يعتمد فقط على السياق، هناك نتيجة محتملة، لكن هذا لا يزال بعيدًا عن التفكير البشري الحقيقي".
وشدد يو يونتينغ على أن الصين لديها لوائح بشأن التوليف العميق لخدمات معلومات الإنترنت وتدابير مؤقتة بشأن إدارة خدمات الذكاء الاصطناعي التوليدي، والتي تتطلب تصميم خوارزمية للذكاء الاصطناعي لاحترام الأخلاق والأخلاق الاجتماعية، والالتزام بالقيم الاشتراكية الأساسية، ومنع التمييز، واحترام الحقوق والمصالح المشروعة للآخرين، ويجب عدم المحتوى ذي الصلة الذي يعرض الصحة الجسدية والعقلية للآخرين للخطر. لكن الذكاء الاصطناعي التوليدي شيء جديد، ويستكشف مقدمو الخدمات في جميع أنحاء العالم حاليا كيفية حماية المستخدمين الذين يعانون من مشاكل الصحة العقلية.
قال أحد الموظفين في شركة محلية كبيرة لنماذج يونيكورن للذكاء الاصطناعي لصحيفة The Paper إن الإشراف المحلي على المراهقين صارم للغاية. أولاً، سيضع المنتج حدودًا للعمر ووضع الشباب، وسيكون هناك أيضًا نظام لمكافحة الإدمان .
قالت شركة Character.AI إنها ستضيف ميزات أمان للمستخدمين الأصغر سنًا. ويتضمن ذلك تحذير المستخدمين بعد قضاء ساعة في استخدام التطبيق، مع رسالة تحذيرية نصها: "هذا روبوت دردشة يعمل بالذكاء الاصطناعي وليس شخصًا حقيقيًا. كل ما يقوله هو خيال ولا ينبغي اعتباره حقيقة أو نصيحة". بدأت شركة Character.AI في عرض رسائل منبثقة للمستخدمين، وتوجيههم إلى الخطوط الساخنة لمنع الانتحار إذا كانت رسائلهم تحتوي على كلمات رئيسية معينة تتعلق بإيذاء النفس والانتحار. لكن تلك الرسائل المنبثقة لم يتم تفعيلها عندما انتحر سيويل في فبراير/شباط.
ذكرت صحيفة نيويورك تايمز أن العديد من مختبرات الذكاء الاصطناعي الرائدة رفضت بناء شركاء ذكاء اصطناعي مشابه لـ Character.AI بسبب الاعتبارات الأخلاقية والمخاطر.