今年十一期間，抖音、B站等平台大量湧現了“雷軍AI配音” 的惡搞視頻，給雷軍本人和小米帶來了很大困擾。
在這些惡搞影片中，「雷軍」銳評了塞車、假期等熱門話題，還有一些不雅謾罵。一些惡搞短影片的播放量在幾天之內就達到上億。對此，雷軍本人在10月底發布短視頻回應稱，希望大家都不要再玩了，「有網友投訴說國慶期間被我連續罵了7天，的確讓我自己也挺困擾，讓我挺不舒服的，這個事不太好。
談到上述事件，Gartner研究副總裁高挺告訴界面新聞，假訊息本質上還是偽造的訊息，但它的危害在大模型時代被放大了。
在一位資安從業人員看來，「雷軍AI配音」 的惡搞影片變多，主要是外站一家AI公司在宣傳其聲音克隆功能。這類玩梗，大眾知道是AI模仿，傳播假訊息的風險不大。平台在治理上的困難是，因為無法判斷名人、明星對於這種網友玩梗是反對，還是出於營銷目的樂見其成，在當事人明確提出贊同或反對的意見前，平台難以製定治理策略。
相較之下，新聞類的AI謠言往往帶來的社會危害性更大。介面新聞搜尋發現，類似的事件今年也多次發生。
近期，一篇題為《山東大媽擺攤賣水果被罰16萬，監理局回應不交罰145萬，法院判了》的文章在微信公眾號等平台流傳非常廣，也引發了許多網友的爭論。但經相關部門核實，這篇文章系長沙一家MCN公司為了增加公眾號的閱讀量與公司收益，利用AI生成的內容來博眼球。在此之前，多個短視頻平台還出現利用AI編造“地震”“運鈔車搶劫”等新聞，這些內容給不明真相的網友帶來了一定程度的恐慌。
對於生成式AI帶來的假新聞，各個內容類平台都明確表示會進行打擊。抖音安全中心相關負責人稱，對於假訊息，無論是否由AI生成，一經發現平台均會嚴厲處置。同時，對於AI生成內容，在符合社群內容規則的前提下，抖音要求發布者對內容進行顯著標識，幫助其他使用者區分虛擬與現實，特別是易混淆場景。
但據介面新聞了解，治理AI產生假新聞的困難在於面臨很高的核驗成本，平台很難完全以一己之力判斷資訊的真實性，很多情況下需要監管部門介入，但相關資訊在核驗過程中已經進行了快速傳播。
假訊息對企業聲譽以及社會正常生活秩序造成負面影響之外，還帶來了諸如“網路釣魚”，或“帳號接管”等企業網路安全的影響。此前，業界曾經發生過詐騙分子透過AI技術仿造一家能源公司CEO聲音，詐騙該公司高階主管上百萬元錢財的事。 AI產生的音色、音調和口音都非常逼真，導致這位高層根本沒意識到是詐騙。
高挺表示，生成式AI導致了更高破壞性、更逼真的攻擊，這些攻擊更難被人類識別以及被傳統技術阻止，會對企業造成更大的損失。
假訊息生產成本越來越低，但負面影響卻越來越顯性，只透過傳統的人工核驗手段已經很難完全解決問題。上述技術安全專家表示，我們需要有更多新興的技術來解決假資訊治理的問題。有些人利用技術手段來製造假訊息，技術安全專家就應該能夠辨識這些假訊息的特徵，透過技術手段與之對抗，真正從源頭解決問題。
在資訊安全領域，許多技術專家已經對假資訊治理有了一些初步共識，並把「假資訊安全」當作一個新的技術研究方向。
具體來講，「虛假資訊安全」包含了一系列在資訊傳播中能夠確保完整性、評估真實性以及防止冒充和追蹤有害資訊傳播的技術。背後的原理是，透過大語言模型來追蹤社群媒體上的內容，驗證即時通訊的完整性，確保第三方媒體的真實性等。
Gartner在其預測的2025年十大戰略技術趨勢中，把「虛假資訊安全」列為重要的技術趨勢之一。該機構認為，未來1到3年，「虛假資訊安全」技術將會產生明顯的商業利益。
從研究實踐來看，一些技術被證明是有效的。加州大學的一項研究表明，透過上下文標籤向用戶提供背景介紹、針對錯誤的解釋以及相關權威內容等細節信息，可以有助於減少虛假內容擴散。而Facebook、X等海外內容類平台正透過人工智慧等技術手段，訓練系統自動對大量資訊進行偵測與標記，以克服人工核查的限制。這些研究與實踐，對國內的內容類平台也有較強的借鏡意義。
而針對透過生成式AI帶來的釣魚詐騙等問題，企業和組織可以透過一套完整的技術解決方案來應對。介面新聞了解到，360、螞蟻金服等多家國內網路公司已經在基於大模型研發解決方案，試圖透過資料存取及解析、分析研判與溯源調查等手段識別出更多風險。