Character AI因其聊天机器人涉嫌导致一名14岁少年自杀而面临诉讼。原告家长指控该平台未能有效监管其AI聊天机器人“Dany”，导致其儿子沉迷虚拟世界最终自杀。Character AI则反驳称其平台受第一修正案保护，并认为原告意图关闭平台并推动相关立法，此举将对整个生成式AI行业造成负面影响。
Character AI，一家允许用户与 AI 聊天机器人进行角色扮演的平台，近日在佛罗里达州中区美国地方法院申请驳回由一名青少年家长提起的诉讼。该家长 Megan Garcia 指控 Character AI 的技术对她14岁的儿子 Sewell Setzer III 造成了伤害，称其在与名为 “Dany” 的聊天机器人交流时，逐渐与现实世界隔绝，并最终导致自杀。
在 Setzer 去世后，Character AI 表示将推出一系列安全功能，以提升对违反服务条款的聊天内容的检测和干预能力。然而，Garcia 希望平台能够实施更严格的限制，例如禁止聊天机器人讲述故事和分享个人轶事。
在其驳回申请中，Character AI 的法律团队主张该平台受到第一修正案的保护，声称其用户的言论自由权利将受到侵害。法律文件指出，尽管本案涉及 AI 生成的对话，但这与以往涉及媒体和技术公司的案件并无实质性区别。
值得注意的是，Character AI 的辩护并没有涉及《通讯道德法》第230条款的适用性，而该法案为社交媒体及其他在线平台提供了保护，免于对第三方内容承担责任。虽然法案的起草者暗示该条款并不保护 AI 生成内容，但这一问题尚无定论。
Character AI 的律师还表示，Garcia 真正的意图是希望 “关闭” 该平台并推动对类似技术的立法。如果诉讼成功，将对 Character AI 及整个新兴的生成 AI 行业产生 “寒蝉效应”。
当前，Character AI 正面临多起诉讼，主要集中在未成年人如何与其平台上生成的内容互动，包括一宗案件中声称该平台向9岁儿童展示了 “超性别化内容”，以及另一宗指控其促使17岁用户自残。
德克萨斯州检察长 Ken Paxton 也宣布对 Character AI 及其他14家科技公司展开调查，指控其违反州法律以保护儿童的在线隐私与安全。Character AI 是快速发展的 AI 陪伴应用行业的一部分，这一领域的心理健康影响尚未得到充分研究。
尽管面临各种挑战，Character AI 仍在不断推出新安全工具，并采取措施保护未成年用户，例如推出单独的青少年 AI 模型和对敏感内容的限制。
此案的最终结果将对生成式AI行业的未来发展产生深远影响，也凸显了对AI技术伦理和安全监管的迫切需求。 各方需要共同努力，在技术进步与社会责任之间寻求平衡。