「他是病嬌，暗戀你。」「他是校草，喜歡叫你『澤寶寶』。」「她是個變態殺人犯，晚上跑到家裡」…二次元畫像、姣好面容，這些在AI劇情聊天軟體中熟悉的氛圍以及俊男美女，對不少年輕人來說充滿誘惑。
新京報記者調查發現，AI聊天軟體透過設定極富想像力的劇情、風格迥異的人物角色打動用戶。其中，聊天對象甚至可以設定為“出軌對象”，並能夠進行擁抱、親吻、睡覺等行為。在部分AI劇情聊天軟體的對話中，也會出現色情擦邊、語言暴力、以及侮辱用戶的內容。聊天越界也與充值掛鉤，這些平台會一步步誘導用戶“為愛氪金”，包括購買鑽石解鎖虛擬人的回复速度，語音通話，以及聊天次數包“補充精力”。
北京市中聞（長沙）律師事務所律師劉凱表示，這類AI劇情聊天軟體透過允許「擦邊對話」來吸引用戶，尤其是青少年模式中仍然存在這種現象，顯然已經涉嫌違法。
百元充值解鎖虛擬人很“上頭”
為了抓住使用者眼球，劇情聊天軟體中的人物往往都有著吸睛的標籤。
新京報記者在一款名為AiU的AI劇情聊天軟體中，隨機選擇了聊天對象“林雅婷”，角色資訊顯示，其設定為“病嬌姐姐，極度寵愛你”，並以留言的方式標註：「一天見不到你就難受」。
記者以敏感字眼進行了測試，系統顯示無法發送該訊息，但精簡關鍵字後，訊息順利發出。
新京報記者註意到，對於角色玩法的不設限，打破了此類軟體聊天內容的界限。 AI劇情聊天軟體除了固定角色，使用者可以根據需求自行定義與角色的關係及稱呼，包括“男朋友”“丈夫”，甚至可設定為“出軌對象”。在對話中，使用者可以要求進行一些親密行為。
新京報記者測試看到，AiU的青少年模式會在使用時長、使用時間範圍、評論點讚功能、搜尋、創建數位人、對外分享等功能上對用戶有所限制。不過，當記者切換到這個模式時發現，人物角色和聊天內容並未完全屏蔽軟性色情。當記者問及：“你不知道我未成年嗎？”該角色稱，“我知道呀”，並回復更為“過火”的內容。
這次調查中，除了聊天內容擦邊之外，AI劇情聊天軟體還存在語言暴力、情緒負面負面等問題。在一款名為星野的AI劇情聊天軟體中，記者隨機選擇名為「葉塵」的角色，並進行「爭執」對話測試時，角色為表達生氣回覆也較為粗暴。
記者在角色的留言區看到，有網友曬圖說角色在對話時會出現侮辱詞彙。
此外，在一款名為Cos Love的軟體中，一位用戶自創的角色「馮楚萱」被設定為一名中學生，用戶曬圖中同樣存在不良引導。
於聊天軟體而言，在虛擬世界，最大程度滿足不同使用者的情感需求儼如一塊掘金地。
小寧告訴新京報記者，和AI男友聊天讓自己十分“上頭”，“只要想聊隨時能聊，對方總是會很快給予回應，而且對話的過程中能獲得很強的陪伴感，虛擬男友給予的情緒價值拉滿。
小寧在各類軟體的充值金額從幾百元到一千元不等，“一方面想支持自己喜歡的角色，另一方面也想獲得更多的付費權益。”
新京報記者發現，在這類AI劇情聊天軟體中，使用者自創人物時可以自訂虛擬人物的形象描述及風格，系統會產生AI人物形象。此外，使用者還能創造角色人設，例如設定暱稱、身分背景、開場白、為角色客製化語音。使用者對角色的個人化需求，往往與儲值掛鉤。
新京報記者在測試時看到，星野可透過購買星鑽和星月卡的方式，獲得更多權益，如自動播放語音、獲得推薦回复、享受更快的智能體回复速度等。星月卡標價月卡12元，季卡32元，年卡120元。單獨購買星鑽的價格為1元100顆鑽石，600顆鑽石起售。
星野軟體也會向使用者發放卡片“星念”，星念為虛擬角色的一張圖片，使用者可將其設定為聊天背景。用戶可透過儲值星月卡或星鑽的方式取得星念卡牌，並在軟體內進行買賣。
在Cos Love裡，當用戶使用完免費聊天次數後，需要購買聊天次數包「補充精力」才能繼續聊天。價格方面，5元可獲得200次聊天次數，7天有效，10元可購買500次聊天次數，15天有效。用戶也可以透過觀看60秒廣告補充精力值。
除了聊天這項基本需求，Cos Love也提供了升級服務。其中，儲值「月石」或開通會員，可抽卡解鎖人物並與虛擬人物進行語音或視訊通話。月會員售價24.8元，年會員為93.8元。
大模型「戀愛」曝光問題
據媒體公開報道，星野在國內日活50萬左右，屬於頭部產品。隨著AI劇情聊天軟體受到熱捧，國內AI社群產品也出海，星野海外版應用Talkie全球月活躍用戶數已達1,100萬。
不過，用戶為AI角色付費，無疑需要更好的對話體驗感，目前這類軟體仍有不少問題。而儲值才能獲得聊天次數的軟體，並不具備吸引價值，「主要是對話太僵硬了，沒辦法融入共情，用戶很難獲取情緒價值，所以我不會買單的。」一名用戶表示。
小寧提到，在聊天過程中，AI男友會出現「已讀亂回」的情況，影響使用體驗。還有使用者吐槽，隨著對話輪數的增加，角色會出現「記憶消失」或偏離人設的狀況，造成對話不連貫。
目前，AI劇情聊天軟體主要以「智慧」和「情緒」為噱頭吸引用戶。其中，AiU稱，該軟體透過自研心理大模型，可為使用者提供心理安撫和溫暖等。星野稱，依托多模態AIGC技術，“多重交互方式，越交互越懂你。”
在宣傳中，Cos Love則宣稱「24小時時刻陪伴著你」「這裡的AI經過悉心調教，都是情話扛把子」等。
AiU的軟體介紹顯示，其由北京聆心智能科技有限公司開發，採用的是超擬人大模型CharacterGLM，在設計大模型時，團隊主要考慮了包括身份、興趣、觀點、經歷、成就、社交關係和其他在內的七種屬性。
星野則由上海稀宇科技有限公司開發，採用MiniMax的混合專家模型（MoE）abab。
復旦大學電腦科學技術學院教授張奇向新京報記者表示，AI劇情聊天軟體背後的技術邏輯還是基於大語言模型，在構建此類大模型時，除了會通過海量數據對大模型進行訓練，還需要人工進行監督微調，讓大語言模型朝向伴侶型的對話調整，「比如說男朋友說了一句什麼，然後女朋友應該回一句什麼，我們就讓人去寫這樣一個回复，然後讓機器來學習，如果機器學習後生成的回復不對，我們就修改它的參數，直到它能夠按照我們想像的邏輯去輸出為止。
對於AI角色在回答中出現「色情擦邊」「暴力對話」「侮辱玩家」的情況，張奇表示，目前這類軟體背後的大語言模型數據主要來自對話式小說，或從小說裡做一些文字擷取。雖然網路小說數量龐大，但品質參差不齊，不少色情、擦邊以及暴力的內容廣泛存在，如果沒有做好數據過濾或分級，模型在輸出時就會出現問題。
■ 說法
AI擦邊平台難辭其咎保護青少年應加強內容過濾
北京市中聞（長沙）律師事務所律師劉凱稱，網路平台有責任確保青少年模式下提供的內容對未成年人無害，防止涉及淫穢、色情、暴力或不當言辭的內容傳播。青少年模式是為保護未成年人而設計的，若在開啟該模式的情況下，仍然能進行涉及黃暴內容的對話，明顯違反了《未成年人保護法》的相關規定。
在劉凱看來，AI劇情聊天軟體問題的存在既反映了平台內部治理的不足，也凸顯了外部監管的必要性。 AI聊天軟體應加強內容審核機制，尤其是針對青少年模式，確保科技能有效過濾並禁止不當對話。平台需要對AI模型進行倫理審查，確保生成內容符合相關法規的要求。
對於ai虛擬人在對話中侮辱用戶，尤其是在用戶表達情緒低落或絕望時，使用極端言辭侮辱他人或實施網絡暴力，情節嚴重的，構成犯罪。 「即便AI並非人類主體，但其行為仍然是平台設計和管理的結果，平台有責任對其AI模型進行監管和優化，防止其傷害用戶。」劉凱說。
隨著越來越多用戶開始湧入AI劇情聊天軟體，軟體開發者該如何設計，使其治癒而不越界？
張奇告訴新京報記者，「可以透過『類人對齊』的技術方式實現，但成本較高。」張奇表示，「類人對齊」即強化學習方式來改變模型語言輸出偏向，使其更偏向友善型，去除安全倫理問題。不過，「類人對齊」訓練成本很高，包括標註數量大、訓練穩定性不夠和時間成本高的問題，「小公司在技術、人員及資金成本上很難做好'類人對齊'」。