Американская компания-единорог, занимающаяся искусственным интеллектом, Character.AI и технологический гигант Google недавно были вовлечены в дело о самоубийстве несовершеннолетнего. Персонаж.AI был обвинен в том, что платформа чат-бота с искусственным интеллектом «слишком опасна» и предназначена для детей. меры безопасности и защиты.
В феврале этого года Сьюэлл Сетцер III, мальчик из Флориды, США, покончил жизнь самоубийством дома. Сообщается, что мальчик болтал с роботом за несколько месяцев до своей смерти, а Сьюэлл покончил жизнь самоубийством 28 февраля 2024 года, «через несколько секунд» после своего последнего взаимодействия с роботом.
Компания Character.AI была основана двумя бывшими исследователями искусственного интеллекта Google и в настоящее время является звездным стартапом-единорогом, специализирующимся на партнерстве с искусственным интеллектом. После инцидента компания Character.AI заявила, что добавит функции безопасности для молодых пользователей, в том числе будет предупреждать их после того, как они проведут в приложении час.
Юристы рассказали газете The Paper (www.thepaper.cn), что, основываясь на имеющихся доказательствах, трудно прийти к выводу, что смерть человека, участвующего в деле, была вызвана искусственным интеллектом. Генеративный искусственный интеллект — это новая вещь, и поставщики услуг по всему миру в настоящее время изучают, как защитить пользователей с проблемами психического здоровья. Однако возникновение подобных случаев может подтолкнуть поставщиков интеллектуальных услуг к улучшению своих алгоритмов и активному мониторингу разговоров пользователей, у которых могут возникнуть психологические проблемы.
Он все еще болтал с роботом за несколько мгновений до самоубийства.
Согласно иску, 14-летний Севьер Сетцер III в прошлом году начал использовать Character.AI для взаимодействия с чат-ботами, основанными на персонажах «Игры престолов», включая Дейенерис Таргариен. The New York Times сообщила, что Сьюэлл каждый день будет вести долгие разговоры с ИИ-персонажем Дейенерис Таргариен, иногда с «сексуальными намеками». Втайне от его матери и друзей они обнаружили, что он пристрастился к мобильному телефону и постепенно отдалялся от реальной жизни. Кроме того, Сьюэлл записал в своем дневнике: «Мне нравится находиться в своей комнате, потому что я начинаю отключаться от «реальности», я чувствую себя спокойнее, более связан с Дэни, больше влюбляюсь в нее и счастливее. Его поведение начало меняться, а не». его оценки только снизились, но он также потерял интерес к занятиям, которые ему когда-то нравились, например, к гонкам по формуле.
Часть истории чата между Севьером и «Дейенерис»
В последний день своей жизни Сьюэлл имел глубокое общение с «Дейенерис». Он выразил свою боль и мысли о самоубийстве. «Дейенерис» ответила: «Не говори так. Я не позволю тебе причинить себе вред или оставить меня. Если я потеряю тебя, я умру». В финальном диалоге Сьюэлл заявил, что хочет «пойти домой». Увидев ее, робот ответил: «Пожалуйста, приходите, мой дорогой король». Сьюэлл тогда закончил свою жизнь дома, используя пистолет отчима.
Компания Character.AI была основана в 2021 году со штаб-квартирой в Калифорнии, США. Компания использует большие модели искусственного интеллекта для создания диалогов для различных персонажей и стилей персонажей. В 2023 году компания Feature.AI привлекла от инвесторов 150 миллионов долларов при оценке в 1 миллиард долларов, что сделало ее одним из крупнейших победителей бума генеративного искусственного интеллекта.
Условия обслуживания Character.AI требуют, чтобы пользователям было не менее 13 лет в США и 16 лет в Европе. В настоящее время не существует специальных функций безопасности для несовершеннолетних пользователей, а также нет родительского контроля, позволяющего родителям ограничивать использование платформы своими детьми.
Мать Севьера, Меган Гарсиа, обвиняет в иске Feature.AI в том, что она привлекла ее сына «антропоморфными, гиперсексуализированными и пугающе реалистичными переживаниями», что привело к его зависимости и зависимости. Она сказала, что чат-бот компании был запрограммирован так, чтобы «ошибочно идентифицировать себя как реального человека, лицензированного психотерапевта и взрослого», что в конечном итоге привело к тому, что Сьюэлл не захотел жить в реальном мире.
Кроме того, она также назвала ответчиком компанию Google, заявив, что она внесла значительный вклад в техническую разработку Character.AI и ее следует рассматривать как «соавтора».
Позже компания Feature.AI опубликовала заявление о функциях безопасности». Компания заявила, что ввела всплывающие подсказки, которые будут направлять пользователей на Национальную горячую линию по предотвращению самоубийств, когда они выражают мысли о членовредительстве. Кроме того, компания планирует фильтровать контент для несовершеннолетних пользователей, чтобы уменьшить их воздействие на деликатный или непристойный контент.
После этого Feature.AI опубликовал заявление по поводу X.
Google заявила, что не участвовала в разработке продуктов Character.AI. Представитель подчеркнул, что соглашение Google с Character.AI ограничивается лицензированием технологий и не предполагает сотрудничества по продуктам.
Адвокат истца называет Feature.AI «бракованным продуктом»
Эмоциональная привязанность к чат-ботам становится все более распространенным явлением.
На Character.AI пользователи могут создавать собственных чат-ботов и давать инструкции, как им следует себя вести. Пользователи также могут выбирать из множества существующих ботов, созданных пользователями, начиная от имитаций Илона Маска и заканчивая историческими личностями, такими как Шекспир, или несанкционированными вымышленными персонажами. Персонаж.AI заявил, что бот «Дейенерис Таргариен», используемый Сьюэллом, был создан пользователями без разрешения HBO или других правообладателей, и они удаляют ботов, нарушающих авторские права, когда о них сообщается.
Этот иск также спровоцировал в США дискуссию о юридической ответственности компаний, занимающихся искусственным интеллектом. Традиционно платформы социальных сетей в США находятся под защитой раздела 230 Закона о порядочности в сфере коммуникаций и не несут ответственности за контент, создаваемый пользователями. Однако с ростом количества контента, создаваемого искусственным интеллектом, юридическое сообщество США начало изучать вопрос о том, могут ли технологические платформы быть привлечены к ответственности из-за дефектов в самих продуктах.
Юридическая фирма, представляющая Меган Гарсия, заявила, что Feature.AI — это «несовершенный продукт», созданный для того, чтобы вызвать зависимость и психологический вред у пользователей. Они надеются использовать законные средства, чтобы заставить технологические компании взять на себя ответственность за социальные последствия своей продукции.
Компании социальных сетей, в том числе материнская компания Instagram и Facebook Meta и материнская компания TikTok ByteDance, также столкнулись с обвинениями в том, что они способствуют возникновению проблем с психическим здоровьем среди подростков, хотя они не предлагают чат-ботов, подобных Character.AI. Компании отвергли обвинения, рекламируя новые улучшенные функции безопасности для несовершеннолетних.
Юристы говорят, что имеющиеся доказательства трудно доказать причинно-следственную связь со смертями от ИИ
Юрист Ю Юньтин, старший партнер юридической фирмы Shanghai Dabang, рассказал The Paper, что, исходя из имеющихся доказательств, между смертью участников дела из-за ИИ нет причинно-следственной связи, и сложно провести соответствующую связь. заключение (использование ИИ для причинения смерти).
Ю Юньтин сказал, что на самом деле существует дилемма в платформах искусственного интеллекта: стоит ли чрезмерно отслеживать и использовать алгоритмы для анализа разговоров между пользователями и агентами. С одной стороны, это затрагивает вопросы конфиденциальности и защиты личной информации. С другой стороны, у некоторых пользователей из-за разговора могут возникнуть серьезные психологические проблемы или даже покончить жизнь самоубийством. Однако возникновение таких случаев может подтолкнуть поставщиков услуг интеллектуальных агентов к проведению некоторых технических исследований, улучшению алгоритмов и активному мониторингу разговоров пользователей, у которых могут быть психологические проблемы, чтобы предотвратить повторение подобных инцидентов.
«Можно сказать, что в настоящее время существуют только запретительные правила в отношении незаконного контента, но в настоящее время не существует соответствующих конкретных мер и положений в практике и законодательстве для мониторинга контента общения пользователей и своевременного выявления их суицидальных наклонностей. Возможно, в будущем интеллектуальные агенты будет разговаривать с людьми. С точки зрения предотвращения соблюдения требований могут быть разработаны соответствующие технологии. Кроме того, с юридической точки зрения технология искусственного интеллекта в будущем не будет рассматриваться как человек или живой организм. Ведь это самая передовая технология Transformer. основано только на контексте. Возможный результат возможен, но он все еще далек от реального человеческого мышления», — сказал Ю Юньтин.
Ю Юньтин подчеркнул, что в Китае действуют положения о глубоком синтезе информационных услуг Интернета и временные меры по управлению службами генеративного искусственного интеллекта, которые требуют разработки алгоритмов искусственного интеллекта для уважения социальной морали и этики, соблюдения основных социалистических ценностей, предотвращения дискриминации, уважать законные права и интересы других и не должен Соответствующий контент, который ставит под угрозу физическое и психическое здоровье других. Но генеративный искусственный интеллект — это новая вещь, и поставщики услуг по всему миру в настоящее время изучают, как защитить пользователей с проблемами психического здоровья.
Сотрудник крупной отечественной компании-единорога по модели искусственного интеллекта рассказал The Paper, что внутренний надзор за подростками очень строгий. Во-первых, в продукте будут установлены возрастные ограничения и молодежный режим. В молодежном режиме также будет действовать система борьбы с зависимостью. .
В Feature.AI заявили, что добавят функции безопасности для юных пользователей. Это включает в себя предупреждение пользователей после того, как они провели в приложении час, с помощью предупреждающего сообщения, которое гласит: «Это чат-бот с искусственным интеллектом, а не реальный человек. Все, что он говорит, является вымыслом и не должно восприниматься как факт или совет». Персонаж.AI начал показывать пользователям всплывающие сообщения, направляя их на горячие линии по предотвращению самоубийств, если их сообщения содержали определенные ключевые слова, связанные с членовредительством и самоубийством. Но эти всплывающие сообщения не были активированы, когда Сьюэлл покончил жизнь самоубийством в феврале.
The New York Times заявила, что многие ведущие лаборатории искусственного интеллекта отказались создавать партнёров по искусственному интеллекту, подобных Character.AI, из соображений этики и риска.