今年の国慶節連休中、「雷軍AI吹き替え」のパロディー動画がDouyin、Bilibiliなどのプラットフォームに大量に出現し、雷軍本人とシャオミに多大な迷惑を与えた。
これらのパロディービデオの中で、「Lei Jun」は、交通渋滞や休日、さらにはわいせつな虐待などの注目のトピックについて鋭いコメントをしました。短いパロディ動画の中には、数日以内に再生回数が数億回に達するものもあります。これに対し、雷軍自身は10月末に短い動画を公開し、「みんながゲームをやめてほしい」と述べ、「国慶節中に7日間連続で叱られたと苦情を言う人もいたが、本当に迷惑だった。はい、とても不快です。」
上記の事件について、Gartner の調査担当副社長 Gao Ting 氏は Jiemian News に対し、虚偽の情報は本質的には依然として虚偽の情報であるが、大規模モデルの時代にはその害悪が増幅されていると語った。
情報セキュリティ専門家によると、主に外部のAI企業が音声クローン機能を宣伝しているため、「雷軍のAI吹き替え」のパロディー動画が増えているという。このタイプのミームは AI の模倣として世間に知られており、誤った情報が拡散するリスクはほとんどありません。プラットフォームのガバナンスの難しさは、有名人がそのようなネチズンの荒らし行為に反対しているのか、それともマーケティング目的で結果を見て喜んでいるのかを判断することができないことです。プラットフォームが当事者の前でガバナンス戦略を明確に策定することは困難です。同意または反対を表明します。
対照的に、ニュースベースの AI の噂は、より大きな社会的損害をもたらすことがよくあります。 Jiemian Newsで検索したところ、同様の事件が今年何度も発生していることが判明した。
最近、「山東省の叔母が屋台で果物を販売したとして16万元の罰金を科せられた。監督管理局は145万元の罰金を支払わなかったと回答し、裁判所は判決を下した」というタイトルの記事がWeChatの公式アカウントで広く拡散された。などのプラットフォームでも利用され、ネチズンの間で多くの議論を巻き起こしました。しかし、関連部門による検証の結果、この記事は、注目を集めるために AI が生成したコンテンツを使用して、一般アカウントの閲覧量と会社の収益を増やすために、長沙の MCN 会社によって作成されたものでした。これに先立って、いくつかのショートビデオプラットフォームもAIを利用して「地震」や「現金輸送車強盗」などのニュースを捏造しており、これらの内容は真実を知らないネチズンにある程度のパニックをもたらした。
生成AIがもたらすフェイクニュースに関しては、さまざまなコンテンツプラットフォームが取り締まることを明らかにしている。 Douyinセキュリティセンターの担当者は、AIによって生成されたかどうかに関係なく、プラットフォームは虚偽の情報が発見された場合には厳しく対処すると述べた。同時に、AI が生成したコンテンツについては、コミュニティ コンテンツ ルールに準拠することを前提として、Douyin はパブリッシャーに対し、特に紛らわしいシーンにおいて、他のユーザーが仮想と現実を区別できるようにコンテンツを目立つようにマークすることを要求しています。
しかし、Jiemian Newsによると、AIによって生成されたフェイクニュースを制御することの難しさは、検証コストが高いことにあり、多くの場合、プラットフォームが情報の真偽を判断することが困難であるという。介入したが、検証過程で関連情報が検証されず、急速に拡散した。
虚偽の情報は、企業の評判や社会生活の正常な秩序に悪影響を与えるだけでなく、「フィッシング」や「アカウント乗っ取り」などの企業ネットワークのセキュリティにも影響を及ぼします。以前、業界では詐欺師がAI技術を利用してエネルギー会社のCEOの声を模倣し、同社幹部から数百万ドルをだまし取る事件があった。 AIによって生成された音色、口調、アクセントは非常に本物そっくりだったので、幹部はそれが詐欺であることに気づかなかった。
Gao Ting氏は、生成AIはより破壊的で現実的な攻撃を引き起こしており、人間が識別することはより困難であり、従来の技術では阻止され、企業にさらに大きな損失をもたらすだろうと述べた。
虚偽の情報を生成するコストはますます低くなりつつありますが、その悪影響はますます明らかになりつつあり、従来の手動による検証方法だけで問題を完全に解決することは困難です。前述の技術セキュリティの専門家は、虚偽の情報管理の問題を解決するには、さらに新しいテクノロジーが必要であると述べています。技術的手段を使用して虚偽の情報を作成する人もいます。技術的セキュリティの専門家は、これらの虚偽の情報の特徴を特定し、技術的手段で対抗し、問題を根本から解決できる必要があります。
情報セキュリティの分野では、多くの技術専門家が偽情報ガバナンスに関してある程度の暫定的な合意に達し、「偽情報セキュリティ」を新たな技術研究の方向性と見なしています。
具体的には、「偽情報セキュリティ」には、情報の完全性を確保し、信頼性を評価し、なりすましを防止し、情報の拡散における有害な情報の拡散を追跡できる一連のテクノロジーが含まれます。その背後にある原則は、大規模な言語モデルを使用してソーシャル メディア上のコンテンツを追跡し、リアルタイム通信の整合性を検証し、サードパーティ メディアの信頼性を保証することなどです。
Gartner は、2025 年に予測される戦略的テクノロジー トレンドのトップ 10 の中で、重要なテクノロジー トレンドの 1 つとして「偽情報セキュリティ」を挙げています。同庁は、「偽情報セキュリティ」技術が今後 1 ～ 3 年で大きな商業的利益をもたらすと考えています。
研究実践の観点から、いくつかのテクノロジーは効果的であることが証明されています。カリフォルニア大学の研究によると、コンテキスト、エラーの説明、関連する信頼できるコンテンツなどの詳細をユーザーに提供するコンテキスト タグが、虚偽のコンテンツの蔓延を減らすのに役立つことが示されています。 Facebook や X などの海外のコンテンツ プラットフォームは、人工知能やその他の技術的手段を使用して、手動検証の限界を克服するために、大量の情報を自動的に検出してラベルを付けるようにシステムをトレーニングしています。これらの研究と実践は、国内のコンテンツプラットフォームにとっても強い参照意義を持っています。
生成 AI によって引き起こされるフィッシング詐欺などの問題に対して、企業や組織は完全な技術ソリューション セットで対応できます。 Jiemian Newsは、360やAnt Financialなど多くの国内インターネット企業がすでに大規模モデルに基づくソリューションを開発しており、データアクセスと分析、分析と判断、トレーサビリティ調査を通じてより多くのリスクを特定しようとしていると知った。