올해 국경일 연휴 동안 Douyin, Bilibili 및 기타 플랫폼에 "Lei Jun AI 더빙"에 대한 스푸핑 동영상이 대량으로 등장하여 Lei Jun 자신과 Xiaomi에 큰 문제를 일으켰습니다.
이러한 스푸핑 영상에서 '레이쥔'은 교통체증, 공휴일 등 뜨거운 주제와 일부 음란물에 대해 날카로운 댓글을 달았습니다. 일부 짧은 패러디 동영상의 조회수는 며칠 내에 수억 회에 달합니다. 이에 대해 레이준은 10월 말 자신이 모두 플레이를 중단하길 바란다며 짧은 영상을 공개했다. 정말 불편해요. 네, 이건 좋지 않아요.”
위 사건에 대해 Gartner의 연구 담당 부사장인 Gao Ting은 Jiemian News와의 인터뷰에서 거짓 정보는 본질적으로 여전히 가짜 정보이지만 대형 모델 시대에 그 피해가 증폭되었다고 말했습니다.
한 정보보안 실무자에 따르면 '레이준의 AI 더빙'에 대한 스푸핑 영상이 점점 더 많아지고 있는데, 이는 주로 외부 AI 기업이 레이준의 음성 복제 기능을 홍보하고 있기 때문이다. 이러한 유형의 밈은 대중에게 AI 모방으로 알려져 있으며, 허위 정보가 퍼질 위험이 거의 없습니다. 플랫폼 거버넌스의 어려움은 연예인들이 이러한 네티즌들의 트롤링에 반대하는지, 아니면 마케팅 목적의 결과를 보고 기뻐하는지 여부를 플랫폼이 당사자들 앞에서 명확하게 수립하는 것이 불가능하다는 것입니다. 찬성이나 반대를 표명합니다.
반면 뉴스에 기반한 AI 루머는 더 큰 사회적 피해를 가져오는 경우가 많다. Jiemian News를 검색해 보면 올해에도 비슷한 사건이 여러 번 발생했다는 사실이 밝혀졌습니다.
최근 "산둥 이모가 가판대에서 과일을 팔다가 16만 위안의 벌금을 선고받았습니다. 규제국에서는 그녀가 145만 위안의 벌금을 내지 않았다는 답변을 받았고, 법원이 이를 선고했습니다."라는 제목의 기사가 위챗 공개 계정에 널리 유포되었습니다. 등 다양한 플랫폼을 통해 네티즌들 사이에서 많은 논란을 불러일으켰습니다. 하지만 본 글은 관련 부서의 검증을 거친 후 창사의 한 MCN 회사에서 AI 생성 콘텐츠를 활용해 관심을 끌기 위해 공개 계정의 열람량과 회사 수익을 늘리기 위해 작성한 것입니다. 앞서 여러 단편 영상 플랫폼에서도 AI를 활용해 '지진', '현금운반차 강도 사건' 등의 뉴스를 조작해 사실을 모르는 네티즌들에게 어느 정도 불안감을 안겨준 바 있다.
제너레이티브 AI가 가져온 가짜뉴스에 대해 각종 콘텐츠 플랫폼들이 단속하겠다는 입장을 분명히 했다. Douyin 보안 센터 담당자는 플랫폼이 AI에 의해 생성되었는지 여부에 관계없이 허위 정보가 발견되면 엄격하게 처리할 것이라고 말했습니다. 동시에 AI 생성 콘텐츠의 경우 커뮤니티 콘텐츠 규칙을 준수한다는 전제 하에 Douyin은 특히 혼란스러운 장면에서 다른 사용자가 가상과 현실을 구별할 수 있도록 콘텐츠를 눈에 띄게 표시하도록 게시자에게 요구합니다.
하지만 지미안 뉴스(Jiemian News)에 따르면 AI가 생성한 가짜 뉴스를 통제하기 어려운 이유는 검증 비용이 비싸기 때문이다. 플랫폼이 자체적으로 정보의 진위 여부를 판단하기는 어렵다. 개입했지만 검증 과정에서 관련 정보가 확인되지 않아 급속히 확산됐다.
허위정보는 기업의 평판과 정상적인 사회생활 질서에 부정적인 영향을 미치는 것은 물론, '피싱'이나 '계정 탈취' 등 기업 네트워크 보안에도 영향을 미칩니다. 앞서 업계에서는 사기꾼들이 AI 기술을 이용해 에너지 기업 CEO 목소리를 흉내내 해당 기업 임원에게 수백만 달러를 사취한 사건이 있었다. AI가 만들어내는 음색, 말투, 억양은 경영진이 사기라는 사실을 깨닫지 못할 정도로 생생했습니다.
Gao Ting은 생성 AI가 더욱 파괴적이고 현실적인 공격을 가져왔으며, 이는 인간이 식별하기가 더 어렵고 기존 기술로 차단되어 기업에 더 큰 손실을 초래할 것이라고 말했습니다.
허위 정보를 생성하는 데 드는 비용은 점점 낮아지고 있지만 부정적인 영향은 점점 더 분명해지고 있습니다. 전통적인 수동 검증 방법만으로는 문제를 완전히 해결하기가 어렵습니다. 위에서 언급한 보안 기술 전문가들은 허위 정보 관리 문제를 해결하기 위해서는 더 많은 새로운 기술이 필요하다고 말했습니다. 어떤 사람들은 기술적 수단을 사용하여 허위 정보를 만들어냅니다. 기술 보안 전문가는 이러한 허위 정보의 특성을 파악하고, 기술적 수단을 통해 이에 맞서 싸우고, 문제를 근원적으로 해결할 수 있어야 합니다.
정보 보안 분야에서 많은 기술 전문가들은 허위 정보 거버넌스에 대한 예비 합의에 도달했으며 "허위 정보 보안"을 새로운 기술 연구 방향으로 간주합니다.
구체적으로 '허위정보 보안'에는 무결성을 보장하고 진위 여부를 평가하며, 사칭을 방지하고 정보 유포에 따른 유해 정보 확산을 추적할 수 있는 일련의 기술이 포함됩니다. 그 뒤에 있는 원칙은 대규모 언어 모델을 사용하여 소셜 미디어의 콘텐츠를 추적하고, 실시간 통신의 무결성을 확인하고, 제3자 미디어의 신뢰성을 보장하는 것입니다.
Gartner는 2025년에 예측되는 10대 전략적 기술 동향 중 중요한 기술 동향 중 하나로 "거짓 정보 보안"을 꼽았습니다. 기관은 '허위 정보 보안' 기술이 향후 1~3년 안에 상당한 상업적 이익을 창출할 것으로 믿고 있다.
연구 실무의 관점에서 볼 때 일부 기술은 효과적인 것으로 입증되었습니다. 캘리포니아 대학의 연구에 따르면 사용자에게 컨텍스트, 오류에 대한 설명, 관련 권위 있는 콘텐츠 등의 세부 정보를 제공하는 컨텍스트 태그가 허위 콘텐츠의 확산을 줄이는 데 도움이 될 수 있음을 보여줍니다. 페이스북, X 등 해외 콘텐츠 플랫폼은 수동 검증의 한계를 극복하기 위해 인공지능 등 기술적 수단을 이용해 대량의 정보를 자동으로 감지하고 라벨링하도록 시스템을 훈련시키고 있다. 이러한 연구와 관행은 국내 콘텐츠 플랫폼에 있어서도 큰 참고 의미를 갖고 있습니다.
생성 AI로 인해 발생하는 피싱 사기 등의 문제에 대해 기업과 조직은 완전한 기술 솔루션 세트로 대응할 수 있습니다. Jiemian News는 360 및 Ant Financial과 같은 많은 국내 인터넷 회사가 이미 대형 모델을 기반으로 솔루션을 개발하고 데이터 액세스 및 분석, 분석 및 판단, 추적성 조사를 통해 더 많은 위험을 식별하려고 노력하고 있음을 알게 되었습니다.