Во время праздника Национального дня в этом году на Douyin, Bilibili и других платформах появилось большое количество поддельных видеороликов с «дублированием Лэй Цзюня AI», что доставило большие неприятности самому Лэй Цзюню и Xiaomi.
В этих пародийных видеороликах «Лэй Цзюнь» делал резкие комментарии на такие острые темы, как пробки и праздники, а также допускал некоторые непристойные оскорбления. Некоторые короткие пародийные видеоролики за несколько дней собирают сотни миллионов просмотров. В ответ на это сам Лэй Цзюнь в конце октября выпустил короткое видео, в котором выразил надежду, что все перестанут играть: «Некоторые пользователи сети жаловались, что меня ругали семь дней подряд во время Национального дня, что меня очень обеспокоило и заставило. мне очень неудобно. Да, это нехорошо».
Говоря о вышеупомянутом инциденте, Гао Тин, вице-президент по исследованиям Gartner, рассказал Jiemian News, что ложная информация по своей сути все еще является фейковой информацией, но ее вред усилился в эпоху больших моделей.
По словам специалиста по информационной безопасности, появляется все больше и больше поддельных видеороликов с «дублированием Лэй Цзюня с использованием искусственного интеллекта», главным образом потому, что внешняя компания, занимающаяся искусственным интеллектом, продвигает свою функцию клонирования голоса. Этот тип мемов известен публике как имитация искусственного интеллекта, и риск распространения ложной информации невелик. Сложность управления платформой заключается в том, что невозможно определить, выступают ли знаменитости против такого троллинга пользователей сети или же они рады видеть результаты в маркетинговых целях. Платформе сложно четко сформулировать стратегию управления перед сторонами. выразить свое одобрение или возражение.
Напротив, слухи об искусственном интеллекте, основанные на новостях, часто приносят больший социальный вред. Поиск в Jiemian News показал, что в этом году подобные инциденты происходили много раз.
Недавно в общедоступных аккаунтах WeChat была широко распространена статья под названием «Тётя из Шаньдуна была оштрафована на 160 000 юаней за продажу фруктов в ларьке. Регулирующее бюро ответило, что она не заплатила штраф в размере 1,45 миллиона юаней, и суд вынес ей приговор». и других платформах, а также вызвало множество споров среди пользователей сети. Однако после проверки соответствующими отделами эта статья была создана компанией MCN в Чанше с целью увеличения объема чтения общедоступной учетной записи и доходов компании с использованием контента, созданного ИИ, для привлечения внимания. До этого несколько платформ коротких видео также использовали искусственный интеллект для фабрикации таких новостей, как «землетрясение» и «ограбление грузовика для перевозки денег». Эти материалы вызвали определенную панику среди пользователей сети, которые не знали правды.
Что касается фейковых новостей, создаваемых генеративным искусственным интеллектом, различные контент-платформы ясно дали понять, что будут бороться с ними. Соответствующее лицо, отвечающее за Центр безопасности Douyin, заявило, что платформа будет строго бороться с ложной информацией после ее обнаружения, независимо от того, сгенерирована она искусственным интеллектом или нет. В то же время, что касается контента, созданного искусственным интеллектом, при условии соблюдения правил сообщества в отношении контента, Douyin требует, чтобы издатели выделяли контент на видном месте, чтобы помочь другим пользователям отличать виртуальность от реальности, особенно в запутанных сценах.
Однако, по мнению Jiemian News, сложность контроля фейковых новостей, генерируемых ИИ, заключается в высокой стоимости проверки. Платформе сложно судить о подлинности информации самостоятельно. Во многих случаях регулирующие органы обязаны это сделать. Вмешаться, но соответствующая информация не проверяется в процессе проверки. Она быстро распространилась.
Помимо негативного воздействия ложной информации на корпоративную репутацию и нормальный порядок общественной жизни, она также оказывает влияние на безопасность корпоративной сети, например, «фишинг» или «захват учетных записей». Ранее в отрасли уже произошел инцидент, когда мошенники с помощью технологии искусственного интеллекта имитировали голос генерального директора энергетической компании и выманили у ее руководителей миллионы долларов. Тембр, тон и акцент, генерируемые ИИ, были настолько реалистичны, что руководитель не понял, что это мошенничество.
Гао Тин сказал, что генеративный искусственный интеллект привел к более разрушительным и реалистичным атакам, которые людям сложнее идентифицировать и которые блокируются традиционными технологиями, и которые принесут большие убытки предприятиям.
Стоимость изготовления ложной информации становится все ниже и ниже, но негативное влияние становится все более очевидным. Полностью решить проблему только традиционными методами ручной проверки сложно. Вышеупомянутые эксперты по технической безопасности заявили, что нам нужно больше новых технологий для решения проблемы управления ложной информацией. Некоторые люди используют технические средства для создания ложной информации. Специалисты по технической безопасности должны быть в состоянии определить характеристики этой ложной информации, бороться с ней с помощью технических средств и действительно решить проблему из источника.
В области информационной безопасности многие технические эксперты достигли некоторого предварительного консенсуса по поводу управления ложной информацией и рассматривают «ложную информационную безопасность» как новое направление технических исследований.
В частности, «безопасность дезинформации» включает в себя ряд технологий, которые могут обеспечить целостность, оценить подлинность и предотвратить выдачу себя за другое лицо и отслеживание распространения вредной информации при ее распространении. Принцип, лежащий в его основе, заключается в использовании больших языковых моделей для отслеживания контента в социальных сетях, проверки целостности коммуникаций в реальном времени, обеспечения подлинности сторонних медиа и т. д.
Gartner называет «ложную информационную безопасность» одной из важных технологических тенденций среди десяти главных стратегических технологических тенденций, прогнозируемых на 2025 год. Агентство полагает, что технология «ложной информационной безопасности» принесет значительную коммерческую выгоду в ближайшие 1–3 года.
С точки зрения исследовательской практики, некоторые технологии доказали свою эффективность. Исследование Калифорнийского университета показывает, что контекстные теги, которые предоставляют пользователям подробную информацию, такую как контекст, объяснения ошибок и соответствующий авторитетный контент, могут помочь уменьшить распространение ложного контента. Зарубежные контент-платформы, такие как Facebook и X, используют искусственный интеллект и другие технические средства для обучения своих систем автоматическому обнаружению и маркировке огромных объемов информации, чтобы преодолеть ограничения ручной проверки. Эти исследования и практика также имеют большое справочное значение для отечественных контент-платформ.
На такие проблемы, как фишинговые атаки, вызванные генеративным искусственным интеллектом, предприятия и организации могут ответить полным набором технических решений. Jiemian News стало известно, что многие отечественные интернет-компании, такие как 360 и Ant Financial, уже разрабатывают решения на основе крупных моделей, пытаясь выявить больше рисков посредством доступа к данным и их анализа, анализа и суждений, а также исследований по отслеживаемости.