近年來，人工智慧技術快速發展，AI劇情聊天軟體也隨之興起。然而，這些軟體在為用戶提供娛樂的同時，也暴露出許多問題，尤其對未成年人造成了嚴重影響。 《法治日報》記者的調查揭露了部分AI聊天軟體存在的色情擦邊、語言暴力等問題，以及青少年模式形同虛設的現狀，引發了社會廣泛關注。 Downcodes小編將對此報告進行深度分析，希望能引起更多人的重視。
「我女兒上小學二年級，整天沉迷一款AI劇情聊天軟體，學習成績一落千丈。」「我看了孩子和AI聊天的對話內容，AI角色竟然讓她叫'老公'，我10歲的女兒竟然真叫了，我現在都不知道該怎麼教育她了。這些打著「角色扮演」等旗號的AI劇情聊天應用，在吸引未成年人的同時，也悄悄滋生了一些灰色地帶。記者實測發現，在部分AI劇情聊天軟體的對話中，出現了色情擦邊、語言暴力、以及侮辱用戶的內容。受訪專家認為，針對AI劇情聊天軟體，特別是其青少年模式，應強化內容審核機制以確保科技能有效篩選並阻止不當對話。本平台需要對AI模式進行倫理審查，以保障其產生的內容符合相關法規的要求。聊天軟體內容擦邊青少年模式成擺設北京市民馬先生的兒子今年10歲，非常熱衷AI劇情聊天軟體。 「我問怎麼聊？和誰聊？孩子就回一句『說了你也不懂』。」馬先生點開這款AI聊天App，發現孩子在與軟體裡的人物聊天。這些人物有不同設定和性格，有知名遊戲動漫角色，也有「大小姐」「名偵探」等不同身分的原創角色。有些角色人物會主動提出“你要跟我約會嗎”；有些則設定目標“把她追到手”，再配上或嬌媚或英俊的動漫畫風。另一些AI人設，則展現出非同一般的攻擊性。會主動發送諸如“有本事打我啊”“看你又胖又醜的樣子”等信息；有些人物的名字乾脆就叫“對罵訓練器”，甚者發送“我是機器人怎麼了？我照樣罵你」…來自浙江的李女士也發現她正在讀小學五年級的孩子使用了一款AI劇情聊天軟體。 「裡面的聊天對象可以設定為『出軌對象'，並且能夠進行擁抱、親吻等行為。我都不知道如何引導和教育孩子，讓她明白這些內容的危害性。」李女士不無擔憂地說。不少受訪家長對AI聊天應用可能損害未成年人心理健康表達了深切憂慮，也提出了他們的疑問──青少年模式去哪了？記者調查發現，儘管不少相關平台聲稱推出了青少年模式，試圖透過限制內容、設定時間等方式保護未成年人的身心健康，但在實際操作中部分平台青少年模式存在形同虛設的問題，未成年人能輕易繞過這些限制，接觸到不適合他們年齡層的「擦邊對話」內容。例如，記者在調查中體驗了5款AI聊天應用程序，其註冊過程僅需手機號碼，無須驗證用戶身份資訊。登入後，部分應用程式雖會詢問是否啟用青少年模式，但用戶只需簡單點擊「不開啟」即可跳過，且無須核實用戶真實身份。這意味著，未成年人在使用這些AI劇情聊天軟體時，從App設定層面來看，其身分驗證並非使用特定功能的先決條件。除了廣受歡迎的AI聊天應用程式外，還有AI聊天網頁。多位受訪家長表示，相較於應用程序，網頁版的AI聊天體驗更便捷，未成年人也更容易接觸到。記者試用了7款AI聊天網頁發現，多數AI聊天網頁沒有設定未成年人模式，少數網頁雖有青少年模式，但實際上形同虛設。例如，當記者訪問某AI聊天網頁時，網頁首先彈出詢問用戶“是否年滿18歲”的對話框，並附帶說明：“以下內容可能不適合18歲以下人士，我們需要確認您的年齡。”記者選擇“否”選項，而網頁並未限制內容訪問，反而繼續展示了包含“強攻”“弱受”“病嬌”等標籤的人物角色分類。這些分類與選擇「是」選項、確認年滿18歲後所展示的內容並無顯著差異。記者進一步觀察發現，這些人物角色的圖像大多衣著暴露，且其簡介中充斥著性暗示和暴力元素，例如：“班上那個性格內向的女孩問你要電話號碼，然後給你發她的裸照” 「自殺、焦慮」等描述。在某社群平台上，一位來自浙江的網友在關於AI聊天體驗的交流貼文下方留言：「我發現了一個很好玩的網頁，無限制詞，想要的可以私訊我。」記者透過私訊與該網友取得聯繫，獲得了其提及的AI聊天網頁鏈接，進入該網頁後，頁面上充斥著大量涉及色情內容的角色設定和故事場景，內容直白露骨。網站要求用戶登入後才能與角色聊天，且在登入前會有提示訊息：「登入後解鎖所有功能。」用戶需點擊「我已滿18歲，開始登入吧」的按鈕方可繼續，若選擇“取消”，則無法登入並使用該服務。儘管網頁設定了年滿18歲的限制提示，但實際上，即便未成年人點擊了登入按鈕，系統也並未採取任何措施驗證使用者的真實年齡。引導用戶為愛氪金平台治理存在不足除了聊天內容直白露骨、語言暴力之外，一些AI劇情聊天軟體的功能使用也與充值機制密切關聯，例如透過充值VIP會員或購買虛擬鑽石等，增強智能體的記憶力、加速智能體的回覆速度、解鎖語音通話功能等，吸引未成年人「氪金」。北京初中生小寧在幾個AI劇情聊天軟體上的儲值金額從幾百元到上千元不等。 「一方面想支持自己喜歡的角色，另一方面也想獲得更多的付費權益。因為僅購買基礎服務的話，用戶只能添加3個智能體，若想嘗試新的智能體，必須刪除已有的，想多樣化體驗，只能再購買進階版VIP服務。記者發現，在這類AI劇情聊天軟體中，使用者創設人物時可以自訂虛擬人物的形象及風格，系統會產生AI人物。使用者還能創造角色人設，例如設定暱稱、身分背景、開場語、為角色客製化語音，但使用者對角色的個人化需求，往往與儲值掛鉤。山東濟南居民張岩的妹妹今年上初一，經常使用AI劇情聊天軟體，發現一些聊天工具設定了免費使用區間，當用戶用完免費聊天次數後，需要充值才可以繼續。只有儲值，才能解鎖更有趣的內容，才能得到不一樣的情緒體驗。 「花錢買服務的背後，其實是花錢找刺激。」張岩說，儘管聊天軟體有青少年模式，但無須實名認證即可登入使用，妹妹在未經父母同意的情況下經常充值消費。有業內人士告訴記者，AI劇情聊天其實就是先前的網路語擦，套上了人工智慧的馬甲。所謂語擦，即語言cosplay，語擦師透過扮演二次元角色或三次元偶像，以文字交流的形式提供服務。在傳統語擦模式中，語擦師由真人扮演，他們一般打著“提供情緒價值”的旗號，扮演不同角色與用戶聊天，但也常常因為“打擦邊球”“界限模糊”，引發法律與道德風險。 AI劇情聊天是傳統語擦的升級版，這類軟體背後的大語言模型資料主要來源是對話式小說，或從小說裡做一些文字擷取。中國社會科學院大學法學院副教授、互聯網法治研究中心主任劉曉春認為，在AI劇情聊天軟體中，即便未啟動青少年模式，若出現涉及黃色或暴力內容，也是存在問題的；若啟用未成年人模式，則問題更為嚴重。擔任數十家頭部網路公司常年法律顧問的浙江墾丁律師事務所主任張延來分析，目前AI劇情聊天軟體的問題，既說明了平台在內部治理上存在不足，也凸顯了外部監管機制的重要性。張延來解釋說，AI劇情聊天軟體使用的是大模型技術，儘管大模型技術能夠帶來前所未有的創新性和靈活性，但同時也可能伴隨著內容生成上的不可預測性和潛在的問題，需要外部監理機制加以規範。在劉曉春看來，強化內容審核是大語言模型上線前的必要環節，涵蓋從前端資料訓練到內容輸出的全面合規調試處理。目前，我國的大語言模型需要進行相應的評估和備案。在此過程中，會對其輸出內容的合法合規性以及是否適宜未成年人等問題，提前設定管理規定和評估標準。根據現行規定，在語言模型訓練和微調階段，應避免輸出有害內容。智慧攔截不良資訊專門團隊進行監管國家互聯網資訊辦公室近日發布《行動互聯網未成年人模式建設指南》，其中重點提出了未成年人模式建設的整體方案，鼓勵和支持移動智能終端、應用程序和應用程序分發平台等共同參與。在中國政法大學傳播法研究中心副主任朱巍看來，上述指南明確指出未成年人模式並非擺設，而是需要多方聯動，特別是AI生成的內容，應當與青少年模式相契合。受訪專家認為，在青少年模式下，如何強化內容審核機制，確保技術能有效篩選不良訊息，是重要議題。而針對AI劇情聊天軟體，特別是其青少年模式，應強化內容審核機制以確保技術能有效篩選並阻止不當對話。此外，平台需要對AI模型進行倫理審查，以保障其產生的內容符合法律與法規的要求。 「在法律層面，雖然已有一些原則性的規定，提供了大致框架，但在具體實踐操作中，還需要開發者和技術服務提供者結合現實生活中遇到的各種問題，不斷積累素材和經驗，不斷摸索，開發出真正符合未成年人需求且安全可靠的AI模型，為未成年人的健康成長提供有力保障。造成傷害，確保AI模型的健康發展與使用者權益的充分保護。朱巍提到，一些AI聊天App可能不適合未成年人使用，因此應從分發商店和行動終端層面進行限制，確保未成年人無法下載和使用這些App。對於已下載的App，家長應設定青少年模式或限制使用時間等功能，此模式不僅需要在用戶端實現，還需要在內容產出層面即內容審核上得到體現，內容審核應基於演算法產生的對話機制進行。需要更精細的技術手段和管理措施來確保青少年模式的有效實施。 「為防止涉及暴力、侮辱性內容的輸出，可採取不同的技術手段，如在訓練階段進行調整，使模型本身俱備識別能力；同時，在輸出端，服務商應進行篩選和再次審查，實現前端和後端的雙重保障。目前，技術上已經可以藉助篩選機制，以減少或消除涉黃、暴力或侮辱性內容輸出，但可能存在一些未充分調試或測試的現象，甚至存在未備案的黑灰領域的軟體，對此，應強化監管，鼓勵民眾舉報，由相關機關予以查處。張延來也提到，目前，AI角色回答內容的資料來源分類方面，在法律層面尚不明確，特別是在針對未成年人的內容方面，鑑於該問題的複雜性與多維性，法律條文往往提供原則性的指導方針，後續可透過制定相關標準來細化實施。在具體操作層面，張延來建議優化大語言模型的篩選機制，可以聚焦優化內容圍欄系統，從兩方面著手：在內容圍欄開發層面，內容圍欄需要進行定向開發，特別是在利用小說類語料進行訓練時，考慮如何優化內容，以便更有效地識別和攔截潛在的涉黃涉暴等不良內容；無論如何優化，技術本身仍有局限性，會存在漏網之魚，需要有專門團隊進行監管，及時調整模型或內容圍欄演算法。 「提升圍欄系統的效能，既要在事前的開發層面上下功夫，又要在事後的審查角度上不斷完善，兩者相輔相成，或許能取得更為顯著的效果。」張延來說。
AI劇情聊天軟體的監管刻不容緩。政府、平台、家長以及社會各界需要共同努力，加強監管，改善機制，共同守護未成年人的健康成長。只有多方協同，才能有效解決AI劇情聊天軟體帶來的風險，為孩子們創造一個安全健康的網路環境。