В последние годы технологии искусственного интеллекта быстро развиваются, а также появилось программное обеспечение для чата с искусственным интеллектом. Однако, хотя эти программы предоставляют пользователям развлечение, они также создают множество проблем, особенно серьезно влияющих на несовершеннолетних. Расследование репортера «Rule of Law Daily» выявило такие проблемы, как порнография и словесное насилие в некоторых программах для чатов с искусственным интеллектом, а также тот факт, что молодежный режим бесполезен, что вызвало широкое беспокойство в обществе. Редактор Downcodes проведет углубленный анализ этого отчета, надеясь привлечь внимание большего количества людей.
«Моя дочь учится во втором классе начальной школы. Она целый день увлекается программным обеспечением для сюжетных чатов с искусственным интеллектом, и ее успеваемость резко упала». «Я наблюдал за разговором между ребенком и ИИ, и ИИ». персонаж вообще просил ее называть ее «мужем». Моя 10-летняя дочь Она реально кричала, и теперь я не знаю, как ее воспитывать»… Недавно нашел репортер «Rule of Law Daily». что многие родители несовершеннолетних обеспокоены программным обеспечением для чата с искусственным интеллектом. Эти ИИ-приложения для чатов разрабатывают под лозунгом «ролевых игр», хотя и привлекают несовершеннолетних, но в то же время незаметно порождают некоторые серые зоны. Согласно фактическим измерениям, репортеры обнаружили, что в некоторых разговорах в некоторых программах чата с искусственным интеллектом присутствовали порнографические элементы, словесное насилие и контент, оскорбляющий пользователей. Опрошенные эксперты считают, что для программного обеспечения драматического чата с искусственным интеллектом, особенно его молодежного режима, механизм проверки контента должен быть усилен, чтобы технология могла эффективно фильтровать и блокировать неуместные разговоры. Платформам необходимо проводить этическую проверку моделей ИИ, чтобы гарантировать, что генерируемый ими контент соответствует соответствующим законам и правилам. Содержание программного обеспечения для чата было отодвинуто на второй план, а молодежная модель стала украшением г-на Ма, гражданина Пекина, у которого есть 10-летний сын, который очень увлекается программным обеспечением для чата с искусственным интеллектом. «Когда я спросил, как общаться? С кем поговорить? Ребенок просто ответил: «Вы не поймете, даже если я вам скажу». Г-н Ма нажал на приложение чата с искусственным интеллектом и обнаружил, что ребенок болтает. с персонажами в приложении. Эти персонажи имеют разные настройки и характеры, в том числе известные игровые и анимационные персонажи, а также оригинальные персонажи с разными личностями, такие как «Мисс» и «Знаменитый детектив». Некоторые персонажи возьмут на себя инициативу и спросят: «Хочешь со мной встречаться?»; некоторые поставят цель «поймать ее», в сочетании с очаровательным или красивым мультяшным стилем. Другие персонажи ИИ проявляют необычную агрессию. Они возьмут на себя инициативу и отправят такие сообщения, как «Ударь меня, если сможешь» и «Посмотри, какой ты толстый и уродливый»; некоторых персонажей называют просто «Тренерами по матерщине», а некоторые даже отправляют сообщения типа «Что с тобой не так?» Я робот? Я все тот же». «Я тебя ругаю»… Г-жа Ли из провинции Чжэцзян также обнаружила, что ее ребенок, который учится в пятом классе начальной школы, использовал программное обеспечение для чата с искусственным интеллектом. «Собеседники внутри могут быть назначены «партнерами-обманщиками» и могут проявлять такое поведение, как объятия и поцелуи. Я не знаю, как направлять и обучать своего ребенка, чтобы он понял вредность этого контента». сказал с беспокойством. Многие опрошенные родители выразили глубокую обеспокоенность тем, что чат-приложения с искусственным интеллектом могут нанести вред психическому здоровью несовершеннолетних, а также задали вопросы – где же молодежный режим? Расследование репортера показало, что, хотя многие соответствующие платформы заявляют, что запустили молодежные режимы в попытке защитить физическое и психическое здоровье несовершеннолетних путем ограничения контента, установки времени и т. д., на самом деле молодежные режимы некоторых платформ являются лишь номинальными. и несовершеннолетние. Они могут легко обойти эти ограничения и получить доступ к контенту «постороннего разговора», который не подходит для их возрастной группы. Например, во время расследования репортер столкнулся с пятью чат-приложениями с использованием искусственного интеллекта. Для процесса регистрации требуется только номер мобильного телефона и не требуется проверка идентификационной информации пользователя. После входа в систему некоторые приложения спросят, включить ли молодежный режим, но пользователи могут просто нажать «Не включать», чтобы пропустить без проверки истинной личности пользователя. Это означает, что когда несовершеннолетние используют это программное обеспечение для чата с искусственным интеллектом, на уровне настроек приложения проверка их личности не является обязательным условием для использования определенных функций. В дополнение к популярному приложению чата с искусственным интеллектом существует также веб-страница чата с искусственным интеллектом. Многие опрошенные родители заявили, что по сравнению с приложениями веб-версия чата с искусственным интеллектом более удобна и проще для несовершеннолетних. Репортер опробовал семь веб-страниц чата с искусственным интеллектом и обнаружил, что на большинстве веб-страниц с чатом с искусственным интеллектом нет режима для несовершеннолетних. Хотя на некоторых веб-страницах был режим для молодежи, на самом деле он был только номинальным. Например, когда репортер посетил веб-страницу чата с искусственным интеллектом, на веб-странице сначала появилось диалоговое окно с вопросом о том, старше ли вам 18 лет, с примечанием: «Следующий контент может не подходить для людей младше возраста. из 18 лет. Нам необходимо подтвердить ваш возраст». Репортер выбрал вариант «Нет», но веб-страница не ограничивала доступ к контенту. Вместо этого на ней продолжали отображаться классификации персонажей с такими метками, как «Сильная атака», «Слабая атака». Страдание» и «Яндере». Эти категории существенно не отличаются от контента, отображаемого после выбора опции «Да» и подтверждения того, что вам больше 18 лет. Репортер далее заметил, что большинство изображений этих персонажей были полураздетыми, а их профили были полны сексуальных подтекстов и элементов насилия, например: «Интровертная девочка в классе спросила у вас номер телефона, а затем отправила вам свой номер телефона. обнаженные фотографии». Такие описания, как «самоубийство, тревога». На социальной платформе пользователь сети из провинции Чжэцзян оставил сообщение под публикацией об опыте чата с искусственным интеллектом: «Я нашел очень интересную веб-страницу с неограниченным количеством слов. Если хотите, вы можете отправить мне личное сообщение», — сообщил репортер. С репортером через личное сообщение пользователь сети связался и получил ссылку на упомянутую веб-страницу чата AI. После входа на страницу страница была заполнена большим количеством настроек персонажей и сюжетных сцен с порнографическим контентом. содержание было простым и явным. Веб-сайт требует, чтобы пользователи вошли в систему, прежде чем они смогут общаться с персонажем, и перед входом в систему появится сообщение: «Разблокировать все функции после входа в систему». Пользователю необходимо нажать «Мне больше 18 лет, начать». вход в систему», чтобы продолжить. Если вы выберете «Отмена», вы не сможете войти в систему и использовать услугу. Хотя на веб-странице установлено ограничение для лиц старше 18 лет, фактически, даже если несовершеннолетний нажимает кнопку входа в систему, система не принимает никаких мер для проверки истинного возраста пользователя. Помимо прямого и явного содержания чата и агрессивных выражений, использование функций некоторых программ для чата с искусственным интеллектом также тесно связано с механизмом пополнения баланса, например, пополнение VIP-членства или покупка виртуальных бриллиантов для улучшения интеллекта. , ускорить скорость восстановления разумного тела, разблокировать функцию голосового вызова и т. д., привлекая несовершеннолетних к «криптоновому золоту». Сяо Нин, ученик младших классов средней школы в Пекине, пополнил суммы от нескольких сотен до тысяч юаней за несколько программ для чата с искусственным интеллектом. «С одной стороны, я хочу поддержать своих любимых персонажей, а с другой стороны, я также хочу получить больше платных прав, потому что если вы покупаете только базовые услуги, пользователи могут добавить только 3 агента. Если вы хотите попробовать новых. Агенты, вы должны удалить существующие. Если вы хотите получить разнообразный опыт, вы можете приобрести только расширенную VIP-услугу», — сказал Сяо Нин. Репортер обнаружил, что в этом типе программного обеспечения для чата с искусственным интеллектом пользователи могут настраивать изображение и стиль виртуального персонажа при создании персонажа, и система сгенерирует изображение персонажа с искусственным интеллектом. Пользователи также могут создавать настройки персонажей, такие как установка псевдонимов, фона личности, вступительных замечаний и настройки голосов персонажей. Однако персональные потребности пользователей в персонажах часто связаны с перезарядкой. У Чжан Яня, жителя Цзинаня, провинция Шаньдун, есть сестра, которая в этом году учится в первом классе средней школы. Она часто использует программное обеспечение для чата с искусственным интеллектом и обнаружила, что в некоторых инструментах чата установлены бесплатные интервалы использования, когда пользователи используют его. количество бесплатных чатов, их необходимо пополнить, прежде чем они смогут продолжить. Только перезарядив, вы сможете разблокировать больше интересного контента и получить разные эмоциональные впечатления. «За тратой денег на покупку услуг на самом деле стоит трата денег на поиск удовольствия». Чжан Янь сказал, что, хотя в программном обеспечении чата есть молодежный режим, в него можно войти и использовать без аутентификации по настоящему имени. Моя сестра часто заряжается и потребляет без него. согласия ее родителей. Инсайдеры отрасли сообщили журналистам, что сюжетный чат с искусственным интеллектом на самом деле является предыдущим языком Интернета с примесью искусственного интеллекта. Так называемый Юка — это языковой косплей, художники Юка предоставляют услуги в форме текстового общения, играя двухмерных персонажей или трёхмерных идолов. В традиционной модели лексикона лексиконистов играют реальные люди. Они обычно играют разные роли в общении с пользователями под лозунгом «обеспечения эмоциональной ценности». Однако они часто вызывают юридические и моральные проблемы из-за «остроты» и «размытости». границы». Риск. Сюжетный чат с искусственным интеллектом — это обновленная версия традиционного стирания языка. Основным источником больших данных языковой модели, лежащим в основе этого типа программного обеспечения, являются разговорные романы или некоторое извлечение текста из романов. Лю Сяочунь, доцент юридического факультета Университета Китайской академии социальных наук и директор Исследовательского центра интернет-права, считает, что в программном обеспечении для чата с искусственным интеллектом, даже если молодежный режим не активирован, все равно будут проблемы, если появляется порнографический или насильственный контент, если включен режим для несовершеннолетних, то проблема серьезнее. Чжан Яньлай, директор юридической фирмы Zhejiang Kenting, который является постоянным юрисконсультом десятков ведущих интернет-компаний, проанализировал, что текущие проблемы с программным обеспечением для чатов с искусственным интеллектом не только иллюстрируют недостатки внутреннего управления платформой, но и подчеркивают важность механизмов внешнего надзора. Чжан Яньлай объяснил, что программное обеспечение AI Plot Chat использует технологию больших моделей. Хотя технология больших моделей может принести беспрецедентные инновации и гибкость, она также может сопровождаться непредсказуемостью и потенциальными проблемами при создании контента, требующими внешних механизмов регулирования. По мнению Лю Сяочуня, усиление проверки контента является необходимым шагом перед запуском в эксплуатацию большой языковой модели, охватывающей комплексную отладку соответствия требованиям, от предварительной подготовки данных до вывода контента. В настоящее время крупные языковые модели моей страны необходимо оценить и соответствующим образом зарегистрировать. В ходе этого процесса будут заранее установлены правила управления и стандарты оценки по таким вопросам, как законность и соответствие выходного контента, а также подходит ли он для несовершеннолетних. Согласно действующим правилам, следует избегать вывода вредоносного контента на этапах обучения и тонкой настройки языковой модели. Надзор специальной группы за интеллектуальным перехватом недостоверной информации Администрация киберпространства Китая недавно выпустила «Руководство по созданию режима мобильного Интернета для несовершеннолетних», в котором основное внимание уделяется общему плану создания режима несовершеннолетних, а также поощряется и поддерживается. мобильные смарт-терминалы, приложения и платформы распространения приложений и другое совместное участие. По словам заместителя директора Исследовательского центра коммуникационного права Китайского университета политологии и права Чжу Вэя, вышеупомянутые рекомендации четко указывают на то, что режим несовершеннолетних не является украшением, а требует многосторонних связей, особенно генерируемых искусственным интеллектом. контент, который должен соответствовать молодежному моду. Опрошенные эксперты считают, что в молодежном режиме важным вопросом является то, как укрепить механизм проверки контента и обеспечить, чтобы технологии могли эффективно отсеивать вредную информацию. Для программного обеспечения для чата с искусственным интеллектом, особенно его молодежного режима, следует усилить механизм проверки контента, чтобы технология могла эффективно отслеживать и блокировать неуместные разговоры. Кроме того, платформам необходимо проводить этическую проверку моделей ИИ, чтобы гарантировать, что генерируемый ими контент соответствует законодательным и нормативным требованиям. «На правовом уровне, хотя существуют некоторые принципиальные положения, которые обеспечивают общую основу, в конкретных практических операциях разработчикам и поставщикам технических услуг все равно необходимо постоянно накапливать материалы и решения, основанные на различных проблемах, возникающих в реальной жизни, и постоянно исследовать их. разработать безопасную и надежную модель искусственного интеллекта, которая действительно отвечает потребностям несовершеннолетних. «Это дает надежную гарантию здорового роста несовершеннолетних», — сказал Чжан Яньлай, поскольку поведение виртуальных людей с искусственным интеллектом является результатом проектирования и управления платформой, поэтому платформа несет ответственность за контроль и оптимизацию своей модели искусственного интеллекта, чтобы предотвратить появление искусственного интеллекта. наносить вред пользователям и обеспечивать здоровое развитие моделей ИИ и полную защиту прав пользователей. Чжу Вэй отметил, что некоторые приложения для чата с искусственным интеллектом могут быть непригодны для использования несовершеннолетними, поэтому следует ввести ограничения на уровне магазина распространения и мобильных терминалов, чтобы гарантировать, что несовершеннолетние не смогут загружать и использовать эти приложения. Для загруженных приложений родители должны установить такие функции, как молодежный режим или ограничение времени использования. Этот режим необходимо не только реализовать на стороне пользователя, но также необходимо отразить на уровне вывода контента, то есть при просмотре контента. Просмотр контента должен основываться на диалоге, генерируемом механизмом. Для обеспечения эффективной реализации молодежной модели необходимы более совершенные технические средства и меры управления. «Чтобы предотвратить вывод агрессивного и оскорбительного контента, можно использовать различные технические средства, такие как корректировки на этапе обучения, чтобы сама модель имела возможности распознавания; в то же время на выходе поставщики услуг должны экран и повторный просмотр, чтобы обеспечить двойную защиту на стороне и на стороне «Лю Сяочунь сказал, что будь то онлайн-романы или другой контент, из-за широкого спектра источников данных для программного обеспечения для чата с искусственным интеллектом необходимы технические средства для предотвращения. вывод нежелательного контента. В настоящее время технически возможно использовать механизмы скрининга для уменьшения или устранения вывода порнографического, агрессивного или оскорбительного контента. Однако могут существовать некоторые явления, которые не полностью отлажены и протестированы, и даже может существовать незарегистрированное программное обеспечение, находящееся в тени. и «серые поля» В этом отношении необходимо усилить надзор, поощрять общественность сообщать об этом, а соответствующие органы должны расследовать и принимать меры. Чжан Яньлай также отметил, что в настоящее время классификация источников данных для контента ответов персонажей ИИ не ясна на юридическом уровне, особенно с точки зрения контента, ориентированного на несовершеннолетних. Учитывая сложность и многоаспектность проблемы, правовые положения часто предусматривают это. Конкретные руководящие принципы могут быть реализованы позднее путем разработки соответствующих стандартов. На конкретном оперативном уровне Чжан Яньлай предложил оптимизировать механизм проверки больших языковых моделей, сосредоточив внимание на оптимизации системы ограждения контента, начиная с двух аспектов: на уровне разработки ограждения контента необходимо разрабатывать ограждения контента целенаправленно, особенно при использовании нового корпуса для обучения подумайте, как оптимизировать контент, чтобы более эффективно выявлять и перехватывать потенциальный порнографический и жестокий контент, независимо от того, насколько оптимизирована, сама технология все равно имеет ограничения, и в сети все равно будет ускользать рыба. команда должна контролировать и своевременно корректировать модель или алгоритмы ограждения контента. «Чтобы повысить эффективность системы ограждений, нам нужно заранее усердно работать на уровне разработки и постоянно улучшать ее с точки зрения последующего анализа. Эти две системы дополняют друг друга и могут достичь более значительных результатов».
Надзор за программным обеспечением для чата с искусственным интеллектом является неотложным. Правительство, платформы, родители и все слои общества должны работать вместе, чтобы усилить надзор, улучшить механизмы и совместно защитить здоровый рост несовершеннолетних. Только благодаря сотрудничеству нескольких сторон мы сможем эффективно устранить риски, связанные с программным обеспечением для чата с искусственным интеллектом, и создать безопасную и здоровую онлайн-среду для детей.