Durante o feriado do Dia Nacional deste ano, um grande número de vídeos paródias de "dublagem de Lei Jun AI" apareceram em Douyin, Bilibili e outras plataformas, o que causou grandes problemas ao próprio Lei Jun e à Xiaomi.
Nesses vídeos paródias, "Lei Jun" fez comentários contundentes sobre temas quentes, como engarrafamentos e feriados, bem como alguns abusos indecentes. Alguns vídeos curtos de paródia têm visualizações que chegam a centenas de milhões em poucos dias. Em resposta a isso, o próprio Lei Jun lançou um pequeno vídeo no final de outubro, dizendo que esperava que todos parassem de jogar “Alguns internautas reclamaram que fui repreendido por sete dias consecutivos durante o Dia Nacional, o que realmente me incomodou e me incomodou. me muito desconfortável. Sim, isso não é uma coisa boa.
Falando sobre o incidente acima, Gao Ting, vice-presidente de pesquisa do Gartner, disse ao Jiemian News que informações falsas ainda são informações falsas em essência, mas seus danos foram ampliados na era dos grandes modelos.
De acordo com um profissional de segurança da informação, há cada vez mais vídeos falsos de "dublagem de IA de Lei Jun", principalmente porque uma empresa externa de IA está promovendo sua função de clonagem de voz. Esse tipo de meme é conhecido pelo público como imitação de IA e há pouco risco de disseminação de informações falsas. A dificuldade na governança da plataforma é que é impossível determinar se as celebridades se opõem a tais trollagens dos internautas ou se estão felizes em ver os resultados para fins de marketing. É difícil para a plataforma formular claramente uma estratégia de governança perante as partes. expressar sua aprovação ou objeção.
Em contraste, os rumores sobre IA baseados em notícias muitas vezes trazem maiores danos sociais. Uma pesquisa no Jiemian News descobriu que incidentes semelhantes ocorreram muitas vezes este ano.
Recentemente, um artigo intitulado "Uma tia de Shandong foi multada em 160.000 RMB por vender frutas em uma barraca. O órgão regulador respondeu que ela não pagou uma multa de 1,45 milhão de RMB, e o tribunal a condenou foi amplamente divulgado nas contas públicas do WeChat". e outras plataformas, e também gerou muitos debates entre os internautas. No entanto, após verificação pelos departamentos relevantes, este artigo foi criado por uma empresa MCN em Changsha, a fim de aumentar o volume de leitura da conta pública e a receita da empresa, utilizando conteúdo gerado por IA para atrair a atenção. Antes disso, várias plataformas de vídeos curtos também usavam IA para fabricar notícias como “terremoto” e “roubo de caminhão de transporte de dinheiro”. Esses conteúdos trouxeram certo pânico aos internautas que não sabiam a verdade.
Em relação às notícias falsas provocadas pela IA generativa, várias plataformas de conteúdo deixaram claro que irão reprimir. O responsável pelo Douyin Security Center disse que a plataforma lidará severamente com informações falsas uma vez descobertas, independentemente de serem geradas por IA ou não. Ao mesmo tempo, para conteúdo gerado por IA, com a premissa de cumprir as regras de conteúdo da comunidade, Douyin exige que os editores marquem o conteúdo de forma proeminente para ajudar outros usuários a distinguir a virtualidade da realidade, especialmente em cenas confusas.
No entanto, de acordo com Jiemian News, a dificuldade em controlar as notícias falsas geradas pela IA reside no elevado custo da verificação. É difícil para a plataforma julgar a autenticidade das informações por si só. Em muitos casos, as autoridades reguladoras são obrigadas a fazê-lo. intervir, mas a informação relevante não é verificada durante o processo de verificação. Ela se espalhou rapidamente.
Além do impacto negativo que as informações falsas têm na reputação corporativa e na ordem normal da vida social, também têm um impacto na segurança da rede corporativa, como “phishing” ou “aquisição de contas”. Anteriormente, houve um incidente na indústria em que fraudadores usaram tecnologia de IA para imitar a voz do CEO de uma empresa de energia e fraudaram os executivos da empresa em milhões de dólares. O timbre, o tom e o sotaque gerados pela IA eram tão realistas que o executivo não percebeu que se tratava de uma fraude.
Gao Ting disse que a IA generativa levou a ataques mais destrutivos e realistas, que são mais difíceis de identificar pelos humanos e bloqueados pelas tecnologias tradicionais, e causarão maiores perdas às empresas.
O custo da produção de informações falsas está cada vez mais baixo, mas o impacto negativo está a tornar-se cada vez mais óbvio. É difícil resolver completamente o problema apenas através de métodos tradicionais de verificação manual. Os especialistas técnicos de segurança acima mencionados disseram que precisamos de mais tecnologias emergentes para resolver o problema da gestão de informações falsas. Algumas pessoas usam meios técnicos para criar informações falsas. Os especialistas técnicos em segurança devem ser capazes de identificar as características dessas informações falsas, combatê-las por meios técnicos e realmente resolver o problema desde a fonte.
No domínio da segurança da informação, muitos especialistas técnicos chegaram a algum consenso preliminar sobre a governação da informação falsa e consideram a "segurança da informação falsa" como uma nova direcção de investigação técnica.
Especificamente, a “segurança da desinformação” inclui uma série de tecnologias que podem garantir a integridade, avaliar a autenticidade e prevenir a falsificação de identidade e rastrear a propagação de informações prejudiciais na disseminação de informações. O princípio por trás disso é usar grandes modelos de linguagem para rastrear conteúdo nas redes sociais, verificar a integridade das comunicações em tempo real, garantir a autenticidade de mídias de terceiros, etc.
O Gartner lista a “falsa segurança da informação” como uma das tendências tecnológicas importantes entre suas dez principais tendências tecnológicas estratégicas previstas para 2025. A agência acredita que a tecnologia de “falsa segurança da informação” produzirá benefícios comerciais significativos nos próximos 1 a 3 anos.
Do ponto de vista da prática de pesquisa, algumas tecnologias têm se mostrado eficazes. Um estudo da Universidade da Califórnia mostra que tags contextuais que fornecem aos usuários detalhes como contexto, explicações para erros e conteúdo confiável relevante podem ajudar a reduzir a proliferação de conteúdo falso. Plataformas de conteúdo estrangeiras, como o Facebook e o X, estão a utilizar inteligência artificial e outros meios técnicos para treinar os seus sistemas para detectar e rotular automaticamente grandes quantidades de informação, a fim de superar as limitações da verificação manual. Estes estudos e práticas também têm um forte significado de referência para plataformas de conteúdo nacionais.
Para problemas como golpes de phishing causados por IA generativa, as empresas e organizações podem responder com um conjunto completo de soluções técnicas. A Jiemian News apurou que muitas empresas nacionais de Internet, como a 360 e a Ant Financial, já estão a desenvolver soluções baseadas em grandes modelos, tentando identificar mais riscos através de acesso e análise de dados, análise e julgamento, e investigações de rastreabilidade.