Durante el feriado del Día Nacional de este año, aparecieron una gran cantidad de videos falsos del "doblaje de Lei Jun AI" en Douyin, Bilibili y otras plataformas, lo que causó grandes problemas al propio Lei Jun y a Xiaomi.
En estos videos falsos, "Lei Jun" hizo comentarios mordaces sobre temas candentes como atascos y días festivos, así como algunos abusos indecentes. Algunos vídeos cortos de parodia tienen visitas que alcanzan cientos de millones en unos pocos días. En respuesta a esto, el propio Lei Jun publicó un breve vídeo a finales de octubre, diciendo que esperaba que todos dejaran de jugar: "Algunos internautas se quejaron de que me regañaron durante siete días consecutivos durante el Día Nacional, lo que realmente me molestó y me hizo sentir mal. Estoy muy incómodo. Sí, esto no es algo bueno”.
Hablando sobre el incidente anterior, Gao Ting, vicepresidente de investigación de Gartner, dijo a Jiemian News que la información falsa sigue siendo información falsa en esencia, pero su daño se ha amplificado en la era de los grandes modelos.
Según un profesional de seguridad de la información, cada vez hay más vídeos falsos del "doblaje de IA de Lei Jun", principalmente porque una empresa externa de IA está promoviendo su función de clonación de voz. Este tipo de meme es conocido por el público como imitación de IA y existe poco riesgo de difundir información falsa. La dificultad en la gobernanza de la plataforma es que es imposible determinar si las celebridades se oponen al trolling de los internautas o si están felices de ver los resultados con fines de marketing. Es difícil para la plataforma formular claramente una estrategia de gobernanza ante las partes. expresar su aprobación u oposición.
Por el contrario, los rumores sobre IA basados en noticias suelen provocar un mayor daño social. Una búsqueda en Jiemian News encontró que incidentes similares han ocurrido muchas veces este año.
Recientemente, un artículo titulado "Una tía de Shandong fue multada con 160.000 RMB por vender fruta en un puesto. La oficina reguladora respondió que no pagó una multa de 1,45 millones de RMB y el tribunal la condenó y circuló ampliamente en las cuentas públicas de WeChat". y otras plataformas, y también desencadenó muchos debates entre los internautas. Sin embargo, después de la verificación por parte de los departamentos pertinentes, este artículo fue creado por una empresa MCN en Changsha con el fin de aumentar el volumen de lectura de la cuenta pública y los ingresos de la empresa, utilizando contenido generado por IA para atraer la atención. Antes de esto, varias plataformas de videos cortos también habían utilizado IA para fabricar noticias como "terremoto" y "robo de un camión de transporte de efectivo". Estos contenidos provocaron cierto grado de pánico entre los internautas que no sabían la verdad.
En cuanto a las noticias falsas provocadas por la IA generativa, varias plataformas de contenidos han dejado claro que tomarán medidas enérgicas. La persona relevante a cargo del Centro de Seguridad de Douyin dijo que la plataforma lidiará severamente con la información falsa una vez descubierta, independientemente de si es generada por IA o no. Al mismo tiempo, para el contenido generado por IA, bajo la premisa de cumplir con las reglas de contenido de la comunidad, Douyin requiere que los editores marquen el contenido de manera destacada para ayudar a otros usuarios a distinguir la virtualidad de la realidad, especialmente en escenas confusas.
Sin embargo, según Jiemian News, la dificultad para controlar las noticias falsas generadas por la IA radica en el alto coste de la verificación. A la plataforma le resulta difícil juzgar por sí sola la autenticidad de la información. En muchos casos, las autoridades reguladoras deben hacerlo. Interviene, pero la información relevante no se verifica durante el proceso de verificación. Se ha difundido rápidamente.
Además del impacto negativo que tiene la información falsa en la reputación corporativa y el orden normal de la vida social, también tiene un impacto en la seguridad de la red corporativa como el "phishing" o la "adquisición de cuentas". Anteriormente, hubo un incidente en la industria en el que los estafadores utilizaron tecnología de inteligencia artificial para imitar la voz del director ejecutivo de una empresa de energía y defraudaron a los ejecutivos de la empresa por millones de dólares. El timbre, el tono y el acento generados por la IA eran tan reales que el ejecutivo no se dio cuenta de que se trataba de un fraude.
Gao Ting dijo que la IA generativa ha dado lugar a ataques más destructivos y realistas, que son más difíciles de identificar por los humanos y bloqueados por las tecnologías tradicionales, y causarán mayores pérdidas a las empresas.
El costo de producir información falsa es cada vez menor, pero el impacto negativo es cada vez más evidente. Es difícil resolver completamente el problema únicamente mediante métodos tradicionales de verificación manual. Los expertos en seguridad técnica antes mencionados dijeron que necesitamos más tecnologías emergentes para resolver el problema de la gestión de información falsa. Algunas personas utilizan medios técnicos para crear información falsa. Los expertos técnicos en seguridad deberían poder identificar las características de esta información falsa, luchar contra ella a través de medios técnicos y resolver verdaderamente el problema desde la fuente.
En el campo de la seguridad de la información, muchos expertos técnicos han llegado a cierto consenso preliminar sobre la gobernanza de la información falsa y consideran la "seguridad de la información falsa" como una nueva dirección de investigación técnica.
Específicamente, la "seguridad de la desinformación" incluye una serie de tecnologías que pueden garantizar la integridad, evaluar la autenticidad y prevenir la suplantación y rastrear la difusión de información dañina en la difusión de información. El principio detrás de esto es utilizar grandes modelos de lenguaje para rastrear contenido en las redes sociales, verificar la integridad de las comunicaciones en tiempo real, garantizar la autenticidad de los medios de terceros, etc.
Gartner enumera la "seguridad de la información falsa" como una de las tendencias tecnológicas importantes entre sus diez principales tendencias tecnológicas estratégicas previstas para 2025. La agencia cree que la tecnología de "seguridad de la información falsa" producirá importantes beneficios comerciales en los próximos 1 a 3 años.
Desde la perspectiva de la práctica de la investigación, se ha demostrado que algunas tecnologías son efectivas. Un estudio de la Universidad de California muestra que las etiquetas contextuales que brindan a los usuarios detalles como contexto, explicaciones de errores y contenido autorizado relevante pueden ayudar a reducir la proliferación de contenido falso. Las plataformas de contenido extranjeras como Facebook y X están utilizando inteligencia artificial y otros medios técnicos para entrenar sus sistemas para detectar y etiquetar automáticamente cantidades masivas de información para superar las limitaciones de la verificación manual. Estos estudios y prácticas también tienen una gran importancia como referencia para las plataformas de contenidos nacionales.
Para problemas como las estafas de phishing causadas por la IA generativa, las empresas y organizaciones pueden responder con un conjunto completo de soluciones técnicas. Jiemian News se enteró de que muchas empresas nacionales de Internet, como 360 y Ant Financial, ya están desarrollando soluciones basadas en modelos grandes, tratando de identificar más riesgos a través del acceso y análisis de datos, análisis y juicio, e investigaciones de trazabilidad.