Pendant la fête nationale de cette année, un grand nombre de fausses vidéos de « doublage de Lei Jun AI » sont apparues sur Douyin, Bilibili et d'autres plateformes, ce qui a causé de gros problèmes à Lei Jun lui-même et à Xiaomi.
Dans ces fausses vidéos, « Lei Jun » a fait des commentaires acerbes sur des sujets brûlants tels que les embouteillages et les vacances, ainsi que certains abus indécents. Certaines courtes vidéos parodiques atteignent des centaines de millions de vues en quelques jours. En réponse à cela, Lei Jun lui-même a publié une courte vidéo fin octobre, disant qu'il espérait que tout le monde arrêterait de jouer : « Certains internautes se sont plaints d'avoir été grondé pendant sept jours consécutifs pendant la fête nationale, ce qui m'a vraiment dérangé et fait. je suis très mal à l’aise. Oui, ce n’est pas une bonne chose.
Parlant de l'incident ci-dessus, Gao Ting, vice-président de la recherche chez Gartner, a déclaré à Jiemian News que les fausses informations restent par essence de fausses informations, mais que leurs méfaits ont été amplifiés à l'ère des grands modèles.
Selon un praticien de la sécurité de l'information, il existe de plus en plus de vidéos frauduleuses du « doublage de l'IA de Lei Jun », principalement parce qu'une société externe d'IA fait la promotion de sa fonction de clonage vocal. Ce type de mème est connu du public sous le nom d’imitation d’IA, et il y a peu de risque de diffuser de fausses informations. La difficulté de la gouvernance de la plateforme est qu'il est impossible de déterminer si les célébrités sont opposées au trolling de ces internautes, ou si elles sont heureuses de voir les résultats à des fins de marketing. Il est difficile pour la plateforme de formuler clairement une stratégie de gouvernance devant les partis. exprimer son approbation ou son objection.
En revanche, les rumeurs d’actualité sur l’IA entraînent souvent un plus grand préjudice social. Une recherche sur Jiemian News a révélé que des incidents similaires se sont produits à plusieurs reprises cette année.
Récemment, un article intitulé « Une tante du Shandong a été condamnée à une amende de 160 000 RMB pour avoir vendu des fruits sur un stand. Le bureau de réglementation a répondu qu'elle n'avait pas payé une amende de 1,45 million de RMB, et le tribunal l'a condamnée a été largement diffusé sur les comptes publics de WeChat. et d'autres plateformes, et a également déclenché de nombreux débats parmi les internautes. Cependant, après vérification par les services concernés, cet article a été créé par une société MCN à Changsha afin d'augmenter le volume de lecture du compte public et les revenus de l'entreprise, en utilisant le contenu généré par l'IA pour attirer l'attention. Avant cela, plusieurs plateformes de courtes vidéos avaient également utilisé l'IA pour fabriquer des informations telles que le « tremblement de terre » et le « vol d'un camion de transport de fonds ». Ces contenus ont semé un certain degré de panique parmi les internautes qui ne connaissaient pas la vérité.
Concernant les fausses nouvelles provoquées par l’IA générative, diverses plateformes de contenu ont clairement indiqué qu’elles allaient sévir. La personne concernée en charge du centre de sécurité de Douyin a déclaré que la plateforme traiterait sévèrement les fausses informations une fois découvertes, qu'elles soient générées ou non par l'IA. Dans le même temps, pour le contenu généré par l'IA, sous prétexte de respecter les règles de contenu de la communauté, Douyin exige que les éditeurs marquent le contenu de manière bien visible pour aider les autres utilisateurs à distinguer la virtualité de la réalité, en particulier dans les scènes déroutantes.
Cependant, selon Jiemian News, la difficulté de contrôler les fausses nouvelles générées par l’IA réside dans le coût élevé de la vérification. Il est difficile pour la plateforme de juger par elle-même de l’authenticité des informations. Dans de nombreux cas, les autorités de régulation sont tenues de le faire. intervenir, mais les informations pertinentes ne sont pas vérifiées pendant le processus de vérification. Elles se sont propagées rapidement.
Outre l'impact négatif des fausses informations sur la réputation de l'entreprise et sur l'ordre normal de la vie sociale, elles ont également un impact sur la sécurité des réseaux d'entreprise, comme le « phishing » ou le « piratage de compte ». Auparavant, il y avait eu un incident dans l'industrie au cours duquel des fraudeurs avaient utilisé la technologie de l'IA pour imiter la voix du PDG d'une société énergétique et avaient escroqué les dirigeants de l'entreprise de plusieurs millions de dollars. Le timbre, le ton et l’accent générés par l’IA étaient si réalistes que l’exécutif n’a pas réalisé qu’il s’agissait d’une fraude.
Gao Ting a déclaré que l'IA générative a conduit à des attaques plus destructrices et plus réalistes, plus difficiles à identifier par les humains et bloquées par les technologies traditionnelles, et qui entraîneront des pertes plus importantes pour les entreprises.
Le coût de la production de fausses informations diminue de plus en plus, mais l'impact négatif devient de plus en plus évident. Il est difficile de résoudre complètement le problème uniquement par les méthodes de vérification manuelle traditionnelles. Les experts techniques en sécurité mentionnés ci-dessus ont déclaré que nous avons besoin de davantage de technologies émergentes pour résoudre le problème de la fausse gestion des informations. Certaines personnes utilisent des moyens techniques pour créer de fausses informations. Les experts techniques en sécurité devraient être capables d'identifier les caractéristiques de ces fausses informations, de lutter contre elles par des moyens techniques et de véritablement résoudre le problème à la source.
Dans le domaine de la sécurité de l'information, de nombreux experts techniques sont parvenus à un certain consensus préliminaire sur la fausse gouvernance de l'information et considèrent la « fausse sécurité de l'information » comme une nouvelle direction de recherche technique.
Plus précisément, la « sécurité de la désinformation » comprend une série de technologies qui peuvent garantir l'intégrité, évaluer l'authenticité et empêcher l'usurpation d'identité et suivre la propagation d'informations préjudiciables lors de la diffusion d'informations. Le principe est d’utiliser de grands modèles de langage pour suivre les contenus sur les réseaux sociaux, vérifier l’intégrité des communications en temps réel, garantir l’authenticité des médias tiers, etc.
Gartner classe la « fausse sécurité des informations » comme l'une des tendances technologiques importantes parmi ses dix principales tendances technologiques stratégiques prévues pour 2025. L'agence estime que la technologie de « fausse sécurité de l'information » produira des avantages commerciaux significatifs au cours des 1 à 3 prochaines années.
Du point de vue de la pratique de la recherche, certaines technologies se sont révélées efficaces. Une étude de l'Université de Californie montre que les balises contextuelles qui fournissent aux utilisateurs des détails tels que le contexte, des explications sur les erreurs et un contenu faisant autorité pertinent peuvent contribuer à réduire la prolifération de faux contenus. Les plateformes de contenu étrangères telles que Facebook et X utilisent l’intelligence artificielle et d’autres moyens techniques pour entraîner leurs systèmes à détecter et étiqueter automatiquement des quantités massives d’informations afin de surmonter les limites de la vérification manuelle. Ces études et pratiques ont également une forte importance de référence pour les plateformes de contenu nationales.
Pour des problèmes tels que les escroqueries par phishing provoquées par l’IA générative, les entreprises et les organisations peuvent répondre avec un ensemble complet de solutions techniques. Jiemian News a appris que de nombreuses sociétés Internet nationales telles que 360 et Ant Financial développent déjà des solutions basées sur de grands modèles, essayant d'identifier davantage de risques grâce à l'accès et à l'analyse des données, à l'analyse et au jugement et aux enquêtes de traçabilité.