根據經濟日報近日，一系列由AI生成的配音影片在網路上引發關注，其逼真程度令人驚訝，不僅畫面栩栩如生，聲音特徵也與真人幾乎無異，短時間內便收穫了過億次的播放量。然而，這些影片中的內容與畫面中的公眾人物毫無關聯，現已被平台下架。
AI技術的發展降低了深度偽造和低價量產的門檻，AI生成影像、換聲及換臉影片大量出現。這些影片雖吸引眼球，但背後隱藏的風險卻不容忽視。
目前，假訊息的製造和傳播已成為全球性問題，以假亂真的AI合成技術讓一般人在資訊甄別上陷入困境。 《2024年人工智慧安全報告》顯示，基於AI的深度偽造詐欺在2023年激增30倍，對網路安全和社會安全構成嚴重威脅。假訊息的氾濫，不僅擾亂了網路空間的正常秩序，更可能將負面情緒從虛擬世界傳導至現實，加劇社會焦慮。
應對深度偽造等亂象，需要多方協作、共同治理。目前，我國已推出《網路資訊服務深度合成管理規定》等法規，從源頭加強內容管理。同時，《人工智慧生成合成內容標識辦法（徵求意見稿）》的發布，也標誌著國家層級正加強對AI技術的監管力道。只有讓AI在合法合規的框架內健康發展，才能讓人們真正享受到技術變革帶來的紅利，推動人工智慧產業良性發展。
作為資訊傳播的重要一環，平台營運商和服務提供者也應承擔起相應的責任，對AI生成內容劃定紅線，嚴禁違法違規、侵權欺詐內容的傳播，並添加顯著提示標識，防範虛假信息擴散。此外，利用數位浮水印、時間戳記、雜湊函數等技術手段，既能提高資訊真實性的可驗證性，也是防範假訊息傳播的有效手段。身為內容消費者，受眾也應保持警惕，提升辨別AI生成內容的能力，避免偏好偏信。