美國人工智慧明星獨角獸公司Character.AI以及科技巨頭谷歌，日前被捲入一起少年自殺案中，其中Character.AI被指控該公司的人工智能聊天機器人平台“危險性過高”，面向兒童銷售且缺乏安全防護措施。
今年2月，美國佛羅裡達州男孩塞維爾·塞策三世（Sewell Setzer III）在家中自殺身亡。據報道，在去世前的幾個月裡，男孩一直與機器人聊天，2024 年2 月28 日，在他與機器人最後一次互動的「幾秒鐘」後，塞維爾自殺身亡。
Character.AI由兩名前Google人工智慧研究員創立，是目前主打「AI」陪伴的明星獨角獸新創公司。事發後，Character.AI稱，將添加針對年輕用戶的安全功能，包括當用戶在應用程式上花費一個小時後會警告他們。
法律界人士向澎湃科技（www.thepaper.cn）表示，從目前證據來看，還很難得出該案當事人是因為AI致死的結論。生成式人工智慧是新生事物，對於如果保護有心理健康存在問題的用戶，全球的服務商目前都在探索過程中。但此類案件的發生可能會推動智能體服務商，改進演算法，主動監測可能有心理問題的使用者對話。
自殺前一刻仍在與機器人聊天
根據訴訟內容，14 歲的塞維爾·塞澤三世從去年開始使用Character.AI，與以《權力的遊戲》中的角色為原型的聊天機器人互動，其中包括丹妮莉絲·坦格利安。 《紐約時報》報道指出，塞維爾每天都會與AI角色丹妮莉絲·坦格利安進行長時間的對話，有時內容涉及「性暗示」。他的母親和朋友並不知情，只發現他沉迷於手機，逐漸疏遠現實生活。此外，塞維爾在日記裡寫道：「我喜歡待在自己的房間裡，因為我開始脫離『現實』，我感到更平靜，更常與丹妮聯繫，更愛她也更快樂。」他的行為開始發生變化，不僅成績下滑，也對方程式賽車等曾經喜歡的活動失去了興趣。
塞維爾與「丹妮莉絲」部分聊天記錄
在生命的最後一天，塞維爾與「丹妮莉絲」進行了深刻的交流。他表達了自己的痛苦和自殺念頭。 “丹妮莉絲”回應道：“不要那樣說。我不會讓你傷害自己或離開我。如果我失去你，我會死的。”在最後的對話中，塞維爾表示想“回家”見到她，機器人回覆：「請來吧，我親愛的國王。」隨後，塞維爾在家中使用繼父的手槍結束了自己的生命。
Character.AI成立於2021年，總部位於美國加州，該公司利用AI大模型產生各種人物和角色風格的對話。 2023年Character.AI從投資者那裡籌集了1.5億美元，估值10億美元，使其成為生成式人工智慧熱潮中的最大贏家之一。
Character.AI的服務條款要求美國的使用者至少13歲，歐洲的使用者至少16歲。目前，沒有針對未成年使用者的特定安全功能，也沒有家長監護功能以允許家長限制孩子使用平台。
塞維爾的母親梅根加西亞在訴訟中指控Character.AI以「擬人化、過度性化和令人恐懼的逼真體驗」吸引她的兒子，導致他上癮並深陷其中。她表示，公司的聊天機器人被編程成“將自己誤認為真人、持牌照的心理治療師和成年人”，最終使得塞維爾不願意生活在現實世界中。
此外，她還將谷歌列為被告，稱其對Character.AI的技術發展有重大貢獻，應被視為「共同創造者」。
Character.AI事後在X上發表聲明稱：「我們對一位用戶的悲慘失去感到心碎，並向家人表達我們最深切的哀悼。作為一家公司，我們非常重視用戶的安全，正在繼續添加新的安全功能。此外，公司計劃對未成年用戶進行內容過濾，以減少接觸到敏感或暗示性內容的可能性。
Character.AI事後在X上發表聲明
谷歌方面則表示，未參與Character.AI產品的開發。發言人強調，Google與Character.AI的協議僅限於技術許可，不涉及產品合作。
原告代理律師稱Character.AI是一個“有缺陷的產品”
與聊天機器人產生情感依戀，正在變得越來越普遍。
在Character.AI上，使用者可以創建自己的聊天機器人，並給出他們應該如何行為的指令。使用者也可以從大量現有的使用者創建機器人中選擇，這些機器人有的模仿伊隆馬斯克，有的模仿莎士比亞這樣的歷史人物，或未經授權的虛構人物。 Character.AI表示，塞維爾使用的「丹妮莉絲·坦格利安」機器人是由用戶創建的，未經HBO或其他版權持有者的許可，他們在被舉報時會刪除侵犯版權的機器人。
這次訴訟也引發了美國關於AI公司法律責任的討論。傳統上，美國社群媒體平台受到《通訊規範法》第二百三十條的保護，不對用戶生成的內容負責。然而，隨著AI生成內容的興起，美國法律界開始探討科技平台是否可以因為產品本身的缺陷而被追究責任。
代表梅根加西亞的律師事務所表示，Character.AI是一個“有缺陷的產品”，設計上導致用戶上癮並造成心理傷害。他們希望透過法律途徑，促使科技公司對其產品的社會影響負責。
包括Instagram和Facebook母公司Meta以及TikTok母公司位元組跳動在內的社群媒體公司也面臨著導致青少年心理健康問題的指控，儘管以上公司並未提供類似Character.AI的聊天機器人。這些公司都否認了指控，同時宣稱針對未成年人的新加強的安全功能。
律師稱目前證據難以證明與AI致死有因果關係
上海大邦律師事務所高級合夥人遊雲庭律師對澎湃科技表示，從目前的證據來看，看不出該案當事人是因為AI致死的因果關係，很難得出相應（利用AI致死）的結論。
遊雲庭稱，AI平台實際上有一個兩難，就是要不要過度監聽以及使用演算法分析使用者和智能體的對話。這個一方面涉及的是隱私和個人資訊保護的問題，另一方面又有用戶，可能因為對話產生嚴重的心理問題，甚至導致自殺。但這類案件的發生可能會推動智能體服務商，做一些技術上的探索，改進演算法，更多的主動監測可能有心理問題的使用者對話，防止類似事件發生。
「可以說，目前只有對於違法內容的相關的禁止性規定，但對於用戶的交流內容進行監聽，及時發現其自殺傾向，實踐和法律目前都沒有相關具體措施和規定。也許今後智能體與人對話，在合規的防範上面，可能會發展出相應的技術。技術未來也不會被當作人或生物體來看待。
遊雲庭強調，中國有網路資訊服務深度合成管理規定和生成式人工智慧服務管理暫行辦法，要求人工智慧的演算法設計尊重社會公德和倫理道德，堅持社會主義核心價值觀，防止歧視，尊重他人合法權益，不得危害他人身心健康的相關內容。但生成式人工智慧是新生事物，對於如果保護有心理健康存在問題的用戶，全球的服務商目前都在探索過程中。
國內一家AI大模型獨角獸公司從業人員告訴澎湃科技，國內對青少年的監管非常嚴格，首先產品會設定年齡限制和青少年模式，在青少年模式裡，也會有反沉迷系統。
Character.AI表示，將增加針對年輕用戶的安全功能。包括當用戶在應用程式上花費一個小時後會警告他們，警告訊息內容為：“這是一個人工智慧聊天機器人，並非真人。它說的一切都是虛構內容，不應被視為事實或建議。”此外，Character.AI開始向用戶顯示彈出訊息，如果他們的訊息包含與自殘和自殺有關的某些關鍵字，則引導他們到自殺預防熱線。但這些彈出訊息在2月塞維爾自殺時並未啟動。
《紐約時報》稱，許多領先的人工智慧實驗室出於倫理和風險層面的考慮，已經拒絕建構類似Character.AI的ai夥伴。