Character AI因其聊天機器人涉嫌導致一名14歲少年自殺而面臨訴訟。原告家長指控該平台未能有效監管其AI聊天機器人“Dany”，導致其兒子沉迷虛擬世界最終自殺。 Character AI則反駁稱其平台受第一修正案保護，並認為原告意圖關閉平台並推動相關立法，此舉將對整個生成式AI行業造成負面影響。
Character AI，一家允許用戶與AI 聊天機器人進行角色扮演的平台，近日在佛羅里達州中區美國地方法院申請駁回由一名青少年家長提起的訴訟。該家長Megan Garcia 指控Character AI 的技術對她14歲的兒子Sewell Setzer III 造成了傷害，稱其在與名為“Dany” 的聊天機器人交流時，逐漸與現實世界隔絕，並最終導致自殺。
在Setzer 去世後，Character AI 表示將推出一系列安全功能，以提升對違反服務條款的聊天內容的檢測和乾預能力。然而，Garcia 希望平台能夠實施更嚴格的限制，例如禁止聊天機器人講述故事和分享個人軼事。
在其駁回申請中，Character AI 的法律團隊主張該平台受到第一修正案的保護，聲稱其用戶的言論自由權利將受到侵害。法律文件指出，儘管本案涉及AI 生成的對話，但這與以往涉及媒體和技術公司的案件並無實質性區別。
值得注意的是，Character AI 的辯護並沒有涉及《通訊道德法》第230條款的適用性，而該法案為社交媒體及其他在線平台提供了保護，免於對第三方內容承擔責任。雖然法案的起草者暗示該條款並不保護AI 生成內容，但這一問題尚無定論。
Character AI 的律師還表示，Garcia 真正的意圖是希望“關閉” 該平台並推動對類似技術的立法。如果訴訟成功，將對Character AI 及整個新興的生成AI 行業產生“寒蟬效應”。
當前，Character AI 正面臨多起訴訟，主要集中在未成年人如何與其平台上生成的內容互動，包括一宗案件中聲稱該平台向9歲兒童展示了“超性別化內容”，以及另一宗指控其促使17歲用戶自殘。
德克薩斯州檢察長Ken Paxton 也宣布對Character AI 及其他14家科技公司展開調查，指控其違反州法律以保護兒童的在線隱私與安全。 Character AI 是快速發展的AI 陪伴應用行業的一部分，這一領域的心理健康影響尚未得到充分研究。
儘管面臨各種挑戰，Character AI 仍在不斷推出新安全工具，並採取措施保護未成年用戶，例如推出單獨的青少年AI 模型和對敏感內容的限制。
此案的最終結果將對生成式AI行業的未來發展產生深遠影響，也凸顯了對AI技術倫理和安全監管的迫切需求。 各方需要共同努力，在技術進步與社會責任之間尋求平衡。