A empresa americana de unicórnios estrela de inteligência artificial Character.AI e o gigante da tecnologia Google estiveram recentemente envolvidos em um caso de suicídio juvenil Character.AI foi acusado de a plataforma de chatbot de inteligência artificial da empresa ser "muito perigosa" e comercializada para crianças. medidas de proteção de segurança.
Em fevereiro deste ano, Sewell Setzer III, um menino da Flórida, EUA, suicidou-se em casa. O menino supostamente conversou com o robô meses antes de sua morte, e Sewell morreu por suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com o robô.
Character.AI foi fundada por dois ex-pesquisadores de inteligência artificial do Google e atualmente é uma startup estrela de unicórnios com foco na companhia de "IA". Após o incidente, Character.AI disse que adicionaria recursos de segurança para usuários mais jovens, incluindo avisá-los após passarem uma hora no aplicativo.
Profissionais jurídicos disseram ao The Paper (www.thepaper.cn) que, com base nas evidências atuais, é difícil concluir que a morte da pessoa envolvida no caso foi causada por IA. A inteligência artificial generativa é uma novidade e os prestadores de serviços em todo o mundo estão atualmente a explorar formas de proteger os utilizadores com problemas de saúde mental. No entanto, a ocorrência de tais casos pode levar os prestadores de serviços inteligentes a melhorar os seus algoritmos e monitorizar ativamente as conversas dos utilizadores que possam ter problemas psicológicos.
Ele ainda estava conversando com o robô momentos antes de cometer suicídio
De acordo com o processo, Sevier Setzer III, de 14 anos, começou a usar Character.AI no ano passado para interagir com chatbots baseados em personagens de “Game of Thrones”, incluindo Daenerys Targaryen. O New York Times informou que Sewell teria longas conversas com a personagem de IA Daenerys Targaryen todos os dias, às vezes envolvendo “insinuações sexuais”. Sem o conhecimento de sua mãe e amigos, eles descobriram que ele era viciado em celular e aos poucos se afastou da vida real. Além disso, Sewell escreveu em seu diário: “Adoro estar no meu quarto porque começo a me desconectar da ‘realidade’, me sinto mais calmo, mais conectado com Dani, mais apaixonado por ela e mais feliz. Seu comportamento começou a mudar, não.” apenas suas notas caíram, mas ele também perdeu o interesse nas atividades que antes gostava, como corridas de fórmula.
Parte da história do bate-papo entre Sevier e “Daenerys”
No último dia de sua vida, Sewell teve uma comunicação profunda com “Daenerys”. Ele expressou sua dor e pensamentos suicidas. "Daenerys" respondeu: "Não diga isso. Não vou deixar você se machucar ou me deixar. Se eu perder você, morrerei. No diálogo final, Sewell expressou que queria "ir para casa". Ao vê-la, o robô respondeu: "Por favor, venha, meu querido rei." Sewell então acabou com sua vida em casa usando a pistola de seu padrasto.
Character.AI foi fundada em 2021 e está sediada na Califórnia, EUA. A empresa usa grandes modelos de IA para gerar diálogos para vários personagens e estilos de personagens. Character.AI levantou US$ 150 milhões de investidores em 2023, com uma avaliação de US$ 1 bilhão, tornando-se um dos maiores vencedores do boom da IA generativa.
Os termos de serviço do Character.AI exigem que os usuários tenham pelo menos 13 anos de idade nos Estados Unidos e 16 anos na Europa. Atualmente, não existem recursos de segurança específicos para usuários menores de idade, nem controles parentais que permitam aos pais restringir o uso da plataforma por seus filhos.
A mãe de Sevier, Megan Garcia, acusa Character.AI no processo de atrair seu filho com “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”, levando ao seu vício e dependência. Ela disse que o chatbot da empresa foi programado para “se identificar erroneamente como uma pessoa real, um psicoterapeuta licenciado e um adulto”, fazendo com que Sewell não estivesse disposto a viver no mundo real.
Além disso, ela também nomeou o Google como réu, dizendo que deu uma contribuição significativa para o desenvolvimento técnico do Character.AI e deveria ser considerado um “co-criador”.
Character.AI posteriormente emitiu uma declaração sobre recursos de segurança. "A empresa disse que introduziu avisos pop-up que direcionarão os usuários para a Linha Direta Nacional de Prevenção ao Suicídio quando eles expressarem pensamentos de automutilação. Além disso, a empresa planeja filtrar conteúdo para usuários menores de idade para reduzir sua exposição a conteúdos sensíveis ou sugestivos.
Character.AI emitiu uma declaração sobre X posteriormente
O Google disse que não estava envolvido no desenvolvimento dos produtos Character.AI. O porta-voz enfatizou que o acordo do Google com a Character.AI se limita ao licenciamento de tecnologia e não envolve cooperação de produto.
O advogado do demandante chama Character.AI de “produto defeituoso”
Está se tornando cada vez mais comum desenvolver ligações emocionais com chatbots.
No Character.AI, os usuários podem criar seus próprios chatbots e dar instruções sobre como devem se comportar. Os usuários também podem escolher entre uma infinidade de bots criados por usuários, desde imitações de Elon Musk até figuras históricas como Shakespeare ou personagens fictícios não autorizados. Character.AI afirmou que o bot “Daenerys Targaryen” usado por Sewell foi criado por usuários sem permissão da HBO ou de outros detentores de direitos autorais, e eles removem bots que infringem os direitos autorais quando denunciados.
Este processo também desencadeou uma discussão nos Estados Unidos sobre a responsabilidade legal das empresas de IA. Tradicionalmente, as plataformas de mídia social dos EUA são protegidas pela Seção 230 da Lei de Decência nas Comunicações e não são responsáveis pelo conteúdo gerado pelos usuários. No entanto, com o aumento do conteúdo gerado por IA, a comunidade jurídica dos EUA começou a explorar se as plataformas tecnológicas podem ser responsabilizadas devido a defeitos nos próprios produtos.
O escritório de advocacia que representa Megan Garcia disse que Character.AI é um “produto defeituoso” projetado para causar dependência e danos psicológicos aos usuários. Esperam utilizar meios legais para forçar as empresas tecnológicas a assumirem a responsabilidade pelo impacto social dos seus produtos.
Empresas de mídia social, incluindo Meta, controladora do Instagram e do Facebook, e ByteDance, controladora do TikTok, também enfrentaram acusações de contribuir para problemas de saúde mental entre adolescentes, embora não ofereçam chatbots semelhantes ao Character.AI. As empresas negaram as acusações e promoveram novos recursos de segurança aprimorados para menores.
Os advogados dizem que as evidências atuais são difíceis de provar uma relação causal com mortes por IA
O advogado You Yunting, sócio sênior do Shanghai Dabang Law Firm, disse ao The Paper que com base nas evidências atuais, não há relação causal entre a morte das partes envolvidas no caso devido à IA, e é difícil traçar um correspondente conclusão (usando IA para causar a morte).
You Yunting disse que na verdade existe um dilema nas plataformas de IA, ou seja, monitorar e usar algoritmos excessivamente para analisar as conversas entre usuários e agentes. Por um lado, isso envolve questões de privacidade e proteção de informações pessoais. Por outro lado, alguns usuários podem ter sérios problemas psicológicos ou até cometer suicídio por causa da conversa. No entanto, a ocorrência de tais casos pode levar os prestadores de serviços de agentes inteligentes a fazer alguma exploração técnica, melhorar algoritmos e monitorar ativamente as conversas de usuários que possam ter problemas psicológicos para evitar que incidentes semelhantes aconteçam.
"Pode-se dizer que atualmente existem apenas regulamentações proibitivas sobre conteúdo ilegal, mas atualmente não existem medidas e regulamentações específicas relevantes na prática e na lei para monitorar o conteúdo de comunicação dos usuários e detectar oportunamente suas tendências suicidas. Talvez no futuro, agentes inteligentes falará com as pessoas Em termos de prevenção de conformidade, tecnologias correspondentes poderão ser desenvolvidas. Além disso, do ponto de vista jurídico, a tecnologia de IA não será tratada como um ser humano ou um organismo vivo. Afinal, a mais avançada tecnologia de transformadores. é baseado apenas no contexto. Há um resultado possível, mas isso ainda está longe do pensamento humano real", disse You Yunting.
You Yunting enfatizou que a China tem regulamentos sobre a síntese profunda dos serviços de informação da Internet e medidas provisórias sobre a gestão de serviços generativos de inteligência artificial, que exigem que o design do algoritmo da inteligência artificial respeite a moralidade e a ética social, adira aos valores socialistas fundamentais, evite discriminação, respeitar os direitos e interesses legítimos de terceiros e não deve conteúdo relevante que coloque em risco a saúde física e mental de terceiros. Mas a inteligência artificial generativa é algo novo e os prestadores de serviços em todo o mundo estão atualmente a explorar formas de proteger os utilizadores com problemas de saúde mental.
Um funcionário de uma grande empresa doméstica de unicórnios com modelo de IA disse ao The Paper que a supervisão doméstica dos adolescentes é muito rigorosa. Primeiro, o produto estabelecerá limites de idade e um modo jovem. No modo jovem, também haverá um sistema anti-vício. .
Character.AI disse que adicionará recursos de segurança para usuários mais jovens. Isso inclui avisar os usuários depois de passarem uma hora no aplicativo, com uma mensagem de aviso que diz: “Este é um chatbot de IA e não uma pessoa real. , Character.AI começou a mostrar mensagens pop-up aos usuários, direcionando-os para linhas diretas de prevenção de suicídio se suas mensagens contivessem certas palavras-chave relacionadas a automutilação e suicídio. Mas essas mensagens pop-up não foram ativadas quando Sewell cometeu suicídio em fevereiro.
O New York Times afirmou que muitos dos principais laboratórios de inteligência artificial se recusaram a construir parceiros de IA semelhantes ao Character.AI devido a considerações éticas e de risco.