Selama libur Hari Nasional tahun ini, sejumlah besar video spoof "dubbing AI Lei Jun" muncul di Douyin, Bilibili, dan platform lainnya, yang menyebabkan masalah besar bagi Lei Jun sendiri dan Xiaomi.
Dalam video spoof tersebut, "Lei Jun" melontarkan komentar tajam tentang topik hangat seperti kemacetan lalu lintas dan hari libur, serta beberapa pelecehan tidak senonoh. Beberapa video parodi pendek memiliki penayangan mencapai ratusan juta dalam beberapa hari. Menanggapi hal ini, Lei Jun sendiri merilis video pendek pada akhir Oktober yang mengatakan bahwa dia berharap semua orang berhenti bermain. "Beberapa netizen mengeluh bahwa saya dimarahi selama tujuh hari berturut-turut saat Hari Nasional, yang sangat mengganggu dan membuat saya saya sangat tidak nyaman. Ya, ini bukan hal yang baik.”
Berbicara tentang kejadian di atas, Gao Ting, wakil presiden penelitian di Gartner, mengatakan kepada Jiemian News bahwa informasi palsu pada dasarnya tetaplah informasi palsu, tetapi kerugiannya semakin besar di era model besar.
Menurut seorang praktisi keamanan informasi, semakin banyak video spoof "dubbing AI Lei Jun", terutama karena perusahaan AI eksternal mempromosikan fungsi kloning suaranya. Meme jenis ini dikenal publik sebagai tiruan AI, dan kecil kemungkinannya untuk menyebarkan informasi palsu. Kesulitan dalam tata kelola platform adalah tidak mungkin untuk menentukan apakah selebriti menentang trolling netizen tersebut, atau apakah mereka senang melihat hasilnya untuk tujuan pemasaran. Sulit bagi platform untuk merumuskan strategi tata kelola di hadapan para pihak dengan jelas menyatakan persetujuan atau keberatannya.
Sebaliknya, rumor AI yang berdasarkan berita sering kali menimbulkan kerugian sosial yang lebih besar. Penelusuran di Jiemian News menemukan bahwa kejadian serupa telah terjadi berkali-kali pada tahun ini.
Baru-baru ini, sebuah artikel berjudul "Seorang bibi di Shandong didenda RMB 160.000 karena menjual buah di sebuah kios. Biro regulasi menjawab bahwa dia tidak membayar denda sebesar RMB 1,45 juta, dan pengadilan menjatuhkan hukumannya." dan platform lainnya, dan juga memicu banyak perdebatan di kalangan netizen. Namun, setelah diverifikasi oleh departemen terkait, artikel ini dibuat oleh perusahaan MCN di Changsha untuk meningkatkan volume membaca akun publik dan pendapatan perusahaan, menggunakan konten buatan AI untuk menarik perhatian. Sebelumnya, beberapa platform video pendek juga telah menggunakan AI untuk mengarang berita seperti "gempa bumi" dan "perampokan truk pengangkut uang". Konten ini menimbulkan kepanikan tertentu di kalangan netizen yang tidak mengetahui kebenarannya.
Terkait berita palsu yang dibawa oleh AI generatif, berbagai platform konten telah menegaskan akan menindaknya. Orang terkait yang bertanggung jawab atas Pusat Keamanan Douyin mengatakan bahwa platform tersebut akan menangani informasi palsu dengan serius setelah ditemukan, terlepas dari apakah informasi tersebut dihasilkan oleh AI atau tidak. Pada saat yang sama, untuk konten yang dihasilkan AI, dengan alasan mematuhi aturan konten komunitas, Douyin mengharuskan penerbit menandai konten dengan jelas untuk membantu pengguna lain membedakan virtualitas dari kenyataan, terutama dalam adegan yang membingungkan.
Namun, menurut Jiemian News, kesulitan dalam mengendalikan berita palsu yang dihasilkan oleh AI terletak pada tingginya biaya verifikasi. Sulit bagi platform tersebut untuk menilai keaslian informasinya sendiri melakukan intervensi, tetapi informasi yang relevan tidak diverifikasi selama proses verifikasi. Informasi tersebut menyebar dengan cepat.
Selain dampak negatif informasi palsu terhadap reputasi perusahaan dan tatanan normal kehidupan sosial, informasi palsu juga berdampak pada keamanan jaringan perusahaan seperti "phishing" atau "pengambilalihan akun". Sebelumnya, ada insiden di industri di mana penipu menggunakan teknologi AI untuk meniru suara CEO sebuah perusahaan energi dan menipu jutaan dolar para eksekutif perusahaan. Timbre, nada, dan aksen yang dihasilkan oleh AI sangat nyata sehingga eksekutif tidak menyadari bahwa itu adalah penipuan.
Gao Ting mengatakan bahwa AI generatif telah menyebabkan serangan yang lebih destruktif dan realistis, lebih sulit diidentifikasi oleh manusia dan diblokir oleh teknologi tradisional, serta akan menyebabkan kerugian lebih besar bagi perusahaan.
Biaya untuk menghasilkan informasi palsu semakin rendah, namun dampak negatifnya menjadi semakin nyata. Sulit untuk menyelesaikan masalah sepenuhnya hanya melalui metode verifikasi manual tradisional. Para pakar keamanan teknis yang disebutkan di atas mengatakan bahwa kita memerlukan lebih banyak teknologi baru untuk memecahkan masalah pengelolaan informasi palsu. Beberapa orang menggunakan cara teknis untuk membuat informasi palsu. Pakar keamanan teknis harus mampu mengidentifikasi karakteristik informasi palsu tersebut, melawannya melalui cara teknis, dan benar-benar menyelesaikan masalah dari sumbernya.
Di bidang keamanan informasi, banyak pakar teknis telah mencapai konsensus awal mengenai tata kelola informasi palsu dan menganggap "keamanan informasi palsu" sebagai arah penelitian teknis baru.
Secara khusus, "keamanan disinformasi" mencakup serangkaian teknologi yang dapat menjamin integritas, menilai keaslian, dan mencegah peniruan identitas serta melacak penyebaran informasi berbahaya dalam penyebaran informasi. Prinsip di baliknya adalah menggunakan model bahasa besar untuk melacak konten di media sosial, memverifikasi integritas komunikasi real-time, memastikan keaslian media pihak ketiga, dll.
Gartner mencantumkan "keamanan informasi palsu" sebagai salah satu tren teknologi penting di antara sepuluh tren teknologi strategis teratas yang diprediksi pada tahun 2025. Badan tersebut percaya bahwa teknologi "keamanan informasi palsu" akan menghasilkan manfaat komersial yang signifikan dalam 1 hingga 3 tahun ke depan.
Dari perspektif praktik penelitian, beberapa teknologi telah terbukti efektif. Sebuah studi dari University of California menunjukkan bahwa tag kontekstual yang memberikan detail kepada pengguna seperti konteks, penjelasan kesalahan, dan konten otoritatif yang relevan dapat membantu mengurangi penyebaran konten palsu. Platform konten luar negeri seperti Facebook dan X menggunakan kecerdasan buatan dan sarana teknis lainnya untuk melatih sistem mereka agar secara otomatis mendeteksi dan memberi label pada sejumlah besar informasi guna mengatasi keterbatasan verifikasi manual. Studi dan praktik ini juga memiliki signifikansi referensi yang kuat bagi platform konten domestik.
Untuk masalah seperti penipuan phishing yang disebabkan oleh AI generatif, perusahaan dan organisasi dapat meresponsnya dengan serangkaian solusi teknis yang lengkap. Jiemian News mengetahui bahwa banyak perusahaan Internet dalam negeri seperti 360 dan Ant Financial telah mengembangkan solusi berdasarkan model besar, mencoba mengidentifikasi lebih banyak risiko melalui akses dan analisis data, analisis dan penilaian, serta investigasi ketertelusuran.