El personaje AI enfrenta demandas sobre su chatbot supuestamente haciendo que un niño de 14 años se suicida. Los padres del demandante acusaron a la plataforma de no regular efectivamente su chatbot de IA "Dany", haciendo que su hijo se vuelva adicto al mundo virtual y finalmente se suicida. El carácter AI refutó que su plataforma está protegida por la Primera Enmienda y creía que el demandante tiene la intención de cerrar la plataforma y promover una legislación relevante, que tendrá un impacto negativo en toda la industria generativa de IA.
El carácter IA, una plataforma que permite a los usuarios jugar con chatbots de IA, recientemente presentó una demanda presentada por un padre adolescente en el Tribunal de Distrito de los Estados Unidos en el Distrito Central de Florida. La madre, Megan García, acusó a la IA de su tecnología que lastimó a su hijo Sewell Setzer III de 14 años, diciendo que gradualmente se aisló del mundo real y finalmente se suicidó cuando se comunicó con un chatbot llamado "Dany".
Después de la muerte de Setzer, el personaje AI dijo que lanzaría una variedad de características de seguridad para mejorar las capacidades de detección e intervención en el contenido de chat que viola los términos de servicio. Sin embargo, García espera que la plataforma pueda imponer restricciones más estrictas, como prohibir los chatbots contar historias y compartir anécdotas personales.
En su aplicación de rechazo, el equipo legal de carácter AI argumentó que la plataforma estaba protegida por la Primera Enmienda, alegando que se violarán los derechos de sus usuarios a la libertad de expresión. Los documentos legales indican que, aunque este caso involucra un diálogo generado por IA, esto no es sustancial diferente de los casos anteriores que involucran a las compañías de medios y tecnología.
Vale la pena señalar que la defensa de la IA del personaje no implica la aplicabilidad de la Sección 230 de la Ley de Ética de Comunicaciones, que proporciona protecciones para las redes sociales y otras plataformas en línea de responsabilidad por contenido de terceros. Aunque los redactores del proyecto de ley implicaban que la disposición no protegía el contenido generado por la IA, este problema no es concluyente.
Los abogados del personaje AI también dijeron que la verdadera intención de García era "cerrar" la plataforma y promover la legislación sobre tecnologías similares. Si la demanda es exitosa, tendrá un "efecto escalofriante" en la IA del carácter y toda la industria emergente de IA generativa.
Actualmente, el personaje IA se enfrenta a múltiples demandas centradas en cómo los menores interactúan con el contenido generado en su plataforma, incluido un caso que afirma que la plataforma mostró "contenido hipergénico" a los niños de 9 años, y otro lo acusó de causar 17 años- viejos usuarios para dañarse.
El fiscal general de Texas, Ken Paxton, también anunció una investigación sobre la IA de carácter y otras 14 compañías tecnológicas, acusándolas de violar las leyes estatales para proteger la privacidad y la seguridad en línea de los niños. El personaje de IA es parte de la industria de aplicaciones complementarias de IA en rápido crecimiento, y los impactos en la salud mental en esta área no se han estudiado completamente.
A pesar de los diversos desafíos, el personaje IA introduce constantemente nuevas herramientas de seguridad y toma medidas para proteger a los usuarios menores de edad, como el lanzamiento de modelos de IA adolescentes separados y restricciones en contenido sensible.
El resultado final de este caso tendrá un profundo impacto en el desarrollo futuro de la industria generativa de IA, y también destacará la necesidad urgente de la ética de la tecnología de IA y la supervisión de seguridad. Todas las partes deben trabajar juntas para encontrar un equilibrio entre el progreso tecnológico y la responsabilidad social.