최근에는 인공지능 기술이 급속도로 발전하면서 AI 플롯 채팅 소프트웨어도 등장했다. 그러나 이러한 소프트웨어는 사용자에게 엔터테인먼트를 제공하는 동시에 많은 문제를 노출하며 특히 미성년자에게 심각한 영향을 미칩니다. 법치일보 기자가 취재한 결과, 일부 AI 채팅 소프트웨어에서 음란물, 언어폭력 등의 문제점이 드러났고, 청소년 모드가 헛되다는 사실이 밝혀져 사회 전반에 큰 우려를 불러일으켰다. Downcodes의 편집자는 더 많은 사람들의 관심을 끌기 위해 이 보고서에 대한 심층 분석을 수행할 것입니다.
"제 딸이 초등학교 2학년이에요. 하루종일 AI 플롯 채팅 소프트웨어에 중독돼서 학업 성적이 뚝 떨어졌어요." 실제로는 '남편'이라고 불러달라고 한 10살 딸이 실제로 비명을 질렀는데, 이제는 어떻게 교육해야 할지 모르겠다”고 최근 '법치일보' 기자가 밝혔다. 많은 미성년자 부모가 AI 플롯 채팅 소프트웨어로 인해 어려움을 겪고 있습니다. "역할 놀이"라는 기치 아래 이러한 AI 플롯 채팅 애플리케이션은 미성년자를 유치하는 동시에 일부 회색 영역을 조용히 낳습니다. 실제 측정에 따르면, 기자들은 일부 AI 플롯 채팅 소프트웨어의 일부 대화에서 음란한 가장자리, 언어 폭력, 사용자를 모욕하는 콘텐츠가 있는 것을 발견했습니다. 인터뷰에 참여한 전문가들은 AI 드라마 채팅 소프트웨어, 특히 청소년 모드의 경우 기술이 부적절한 대화를 효과적으로 차단하고 차단할 수 있도록 콘텐츠 검토 메커니즘을 강화해야 한다고 생각합니다. 플랫폼은 생성하는 콘텐츠가 관련 법률 및 규정을 준수하는지 확인하기 위해 AI 모델에 대한 윤리적 검토를 수행해야 합니다. 채팅 소프트웨어의 내용은 소외되었고 청소년 모델은 장식이 되었습니다. 베이징 시민인 마씨에게는 AI 플롯 채팅 소프트웨어에 매우 열중하는 10살 아들이 있습니다. "어떻게 채팅을 하느냐? 누구에게 말을 걸어야 하느냐? 아이는 '내가 말해도 이해하지 못한다'고만 대답했다"고 마 씨는 AI 채팅 앱을 클릭해 아이가 채팅을 하고 있는 것을 발견했다. 앱 속 캐릭터와 함께 이 캐릭터들은 잘 알려진 게임 및 애니메이션 캐릭터는 물론, '미스', '유명탐정' 등 서로 다른 정체성을 지닌 오리지널 캐릭터까지 다양한 설정과 성격을 갖고 있습니다. 어떤 캐릭터는 "나랑 데이트할래?"라고 솔선적으로 질문하고, 어떤 캐릭터는 매력적이고 멋진 만화 스타일과 함께 "그녀를 잡아라"는 목표를 세울 것이다. 다른 AI 캐릭터들도 특이한 공격성을 보인다. 그들은 "할 수 있으면 때려주세요", "당신이 얼마나 뚱뚱하고 못생긴지 보세요"와 같은 메시지를 보내기 위해 주도권을 잡을 것입니다. 일부 캐릭터는 단순히 "욕하는 트레이너"라고 불리며 일부 캐릭터는 심지어 "왜 그래?"와 같은 메시지를 보냅니다. 나 로봇이라고? 난 아직도 똑같아." "꾸짖어"…절강 출신의 리씨도 초등학교 5학년인 자신의 아이가 AI 플롯 채팅 소프트웨어를 사용한다는 사실을 발견했다. "내부의 채팅 파트너는 '바람난 파트너'로 설정되어 포옹, 키스 등의 행동을 할 수 있습니다. 리 씨는 이러한 내용의 유해성을 자녀가 이해할 수 있도록 어떻게 지도하고 교육해야 할지 모르겠습니다." 걱정스럽게 말했다. 인터뷰에 응한 많은 부모들은 AI 채팅 애플리케이션이 미성년자의 정신 건강에 해를 끼칠 수 있다는 깊은 우려를 표명했으며, 청소년 모드는 어디에 있습니까? 취재 결과 많은 관련 플랫폼에서 콘텐츠 제한, 시간 설정 등을 통해 미성년자의 신체적, 정신적 건강을 보호하기 위해 청소년 모드를 출시했다고 주장하지만 실제로 운영되는 일부 플랫폼의 청소년 모드는 이름뿐인 것으로 나타났습니다. , 미성년자 이러한 제한을 쉽게 우회하여 자신의 연령대에 적합하지 않은 '비주류 대화' 콘텐츠에 노출될 수 있습니다. 예를 들어, 신고인은 조사 과정에서 5번의 AI 채팅 애플리케이션을 경험했습니다. 등록 과정에서는 휴대폰 번호만 필요하며 사용자 신원 확인이 필요하지 않습니다. 로그인 후 일부 애플리케이션에서는 청소년 모드를 활성화할지 여부를 묻는 메시지가 표시되지만 사용자는 사용자의 실제 신원을 확인하지 않고 "활성화하지 않음"을 클릭하여 건너뛸 수 있습니다. 이는 미성년자가 AI 플롯 채팅 소프트웨어를 사용할 때 앱 설정 수준에서 특정 기능을 사용하기 위해 신원 확인이 필수 조건이 아니라는 것을 의미합니다. 인기 있는 AI 채팅 애플리케이션 외에도 AI 채팅 웹페이지도 있습니다. 인터뷰에 참여한 많은 부모들은 애플리케이션에 비해 웹 버전의 AI 채팅 경험이 미성년자가 더 편리하고 접근하기 쉽다고 말했습니다. 기자는 AI채팅 웹페이지 7개를 시험해본 결과 대부분의 AI채팅 웹페이지에 미성년자 모드가 없다는 사실을 발견했다. 몇몇 웹페이지에는 청소년 모드가 있었지만 실제로는 이름뿐이었다. 예를 들어, 기자가 AI 채팅 웹페이지를 방문했을 때 해당 웹페이지에서는 사용자에게 "18세 이상인지 여부"를 묻는 대화 상자가 먼저 팝업으로 표시되고 "다음 내용은 18세 미만에게는 적합하지 않을 수 있습니다"라는 메모가 표시되었습니다. 나이를 확인해야 합니다." 기자가 '아니요'를 선택했지만 해당 웹페이지에서는 내용 접근을 제한하지 않았고, 대신 '강공격', '약함' 등의 라벨이 붙은 문자 분류를 계속 표시했다. 괴로움'과 '얀데레'. 해당 카테고리는 '예' 옵션을 선택하고 18세 이상임을 확인한 후 표시되는 내용과 크게 다르지 않습니다. 기자는 또한 이들 캐릭터의 이미지 대부분이 간소한 옷차림을 하고 있으며 그들의 프로필이 성적인 의미와 폭력적인 요소로 가득 차 있음을 관찰했습니다. 예를 들어, "반에서 내성적인 소녀가 당신에게 전화번호를 물었고 그녀 누드 사진." "자살, 불안"과 같은 설명. 저장성(浙江省)의 한 네티즌은 한 소셜 플랫폼에 AI 채팅 경험에 대한 글 아래에 "말이 무제한인 아주 흥미로운 웹페이지를 찾았다. 원한다면 나에게 비공개 메시지를 보내도 좋다"는 메시지를 남겼다. 해당 네티즌은 비공개 메시지로 연락을 취해 언급된 AI 채팅 페이지 링크를 입수했다. 해당 페이지에는 음란물이 포함된 수많은 캐릭터 설정과 스토리 장면이 가득 차 있었다. 내용은 간단하고 명확했습니다. 웹사이트에서는 사용자가 캐릭터와 채팅하기 전에 로그인해야 하며, 로그인하기 전에 "로그인 후 모든 기능을 잠금 해제합니다."라는 메시지가 표시됩니다. 사용자는 "18세 이상입니다. 시작"을 클릭해야 합니다. 로그인' 버튼을 눌러 계속 진행하세요. '취소'를 선택하시면 로그인 및 서비스 이용이 불가능해집니다. 웹페이지에는 18세 이상의 사용자에 대한 제한 프롬프트가 설정되어 있지만 실제로는 미성년자가 로그인 버튼을 클릭하더라도 시스템에서는 사용자의 실제 연령을 확인하기 위한 어떠한 조치도 취하지 않습니다. 직접적이고 노골적인 채팅 콘텐츠와 폭력적인 언어 외에도 일부 AI 플롯 채팅 소프트웨어의 기능 사용은 VIP 멤버십 재충전, 지능 강화를 위한 가상 다이아몬드 구매 등 재충전 메커니즘과 밀접한 관련이 있습니다. , 지능 신체의 회복 속도를 가속화하고 음성 통화 기능을 잠금 해제하는 등 미성년자를 "크립톤 골드"로 끌어들입니다. 베이징의 중학생 샤오닝(Xiao Ning)은 여러 AI 플롯 채팅 소프트웨어에서 수백 위안에서 수천 위안에 이르는 금액을 충전했다. “한편으로는 내가 좋아하는 캐릭터를 지원하고 싶고, 다른 한편으로는 더 많은 유료 권리를 얻고 싶습니다. 왜냐하면 기본 서비스만 구매하면 사용자가 새로운 서비스를 시도하려는 경우 에이전트를 3명만 추가할 수 있기 때문입니다. 다양한 경험을 원하시면 고급 VIP 서비스만 구매하시면 됩니다."라고 Xiao Ning은 말했습니다. 기자는 이러한 유형의 AI 플롯 채팅 소프트웨어에서 사용자가 캐릭터를 생성할 때 가상 캐릭터의 이미지와 스타일을 맞춤 설정할 수 있으며 시스템이 AI 캐릭터 이미지를 생성한다는 사실을 발견했습니다. 사용자는 캐릭터에 대한 닉네임 설정, 신원 배경, 오프닝 멘트, 음성 사용자 정의 등 캐릭터 설정을 만들 수도 있습니다. 그러나 캐릭터에 대한 사용자의 개인화된 요구 사항이 재충전되는 경우가 많습니다. 산둥성 지난(Jinan)에 거주하는 장얀(Zhang Yan)에게는 올해 중학교 1학년이 된 자매가 있습니다. 그녀는 AI 플롯 채팅 소프트웨어를 자주 사용하며 일부 채팅 도구에 사용자가 다 사용하면 무료 사용 간격이 설정되어 있음을 발견했습니다. 무료 채팅 수에 따라 계속하려면 재충전해야 합니다. 재충전해야만 더 흥미로운 콘텐츠를 잠금 해제하고 다양한 감정 경험을 얻을 수 있습니다. "서비스를 구입하기 위해 돈을 쓰는 것은 실제로 재미를 찾기 위해 돈을 쓰는 것입니다." Zhang Yan은 채팅 소프트웨어에 청소년 모드가 있지만 실명 인증 없이 로그인하여 사용할 수 있다고 말했습니다. 그녀의 부모님의 동의. 업계 관계자는 기자들에게 AI 음모 채팅은 실제로 인공 지능의 조끼를 갖춘 이전 인터넷 언어라고 말했습니다. 일명 유카(Yuca)는 언어 코스프레를 뜻하며, 유카 아티스트들은 2차원 캐릭터나 입체 아이돌을 연기해 문자 소통 형태로 서비스를 제공한다. 전통적인 어휘 모델에서 어휘는 실제 사람들이 연기하는 경우가 많으며, '감정적 가치 제공'이라는 기치 아래 사용자와 채팅하기 위해 다양한 역할을 수행하지만, '에지볼'과 '흐릿함'으로 인해 법적, 도덕적 문제를 일으키는 경우가 많습니다. 경계 ". 위험. AI 플롯 채팅은 전통적인 언어 삭제의 업그레이드 버전입니다. 이러한 유형의 소프트웨어 뒤에 있는 대규모 언어 모델 데이터의 주요 소스는 대화 소설 또는 소설에서 일부 텍스트 추출입니다. 중국 사회과학원 법과대학 부교수이자 인터넷 법률 연구 센터 소장인 Liu Xiaochun은 AI 플롯 채팅 소프트웨어에서 청소년 모드가 활성화되지 않더라도 다음과 같은 경우 여전히 문제가 있을 것이라고 믿습니다. 음란물이나 폭력적인 내용이 나오는 경우, 미성년자 모드를 활성화하면 문제는 더욱 심각해집니다. 수십 개의 주요 인터넷 기업의 법률 고문으로 활동하고 있는 Zhejiang Kenting Law Firm의 이사인 Zhang Yanlai는 현재 AI 플롯 채팅 소프트웨어의 문제가 플랫폼 내부 거버넌스의 단점을 보여줄 뿐만 아니라 그 중요성을 강조한다고 분석했습니다. 외부 감독 메커니즘. Zhang Yanlai는 AI 플롯 채팅 소프트웨어가 대형 모델 기술을 사용한다고 설명했습니다. 대형 모델 기술은 전례 없는 혁신과 유연성을 가져올 수 있지만, 외부 규제 메커니즘이 필요한 콘텐츠 생성에 예측 불가능성과 잠재적인 문제가 수반될 수도 있습니다. Liu Xiaochun의 견해에 따르면, 프런트엔드 데이터 교육부터 콘텐츠 출력까지 포괄적인 규정 준수 디버깅을 다루는 대규모 언어 모델이 온라인으로 전환되기 전에 콘텐츠 검토를 강화하는 것이 필요한 단계입니다. 현재 우리나라의 대규모 언어 모델은 그에 따라 평가되고 제출되어야 합니다. 이 과정에서 출력되는 콘텐츠의 적법성, 적합성, 미성년자 시청 가능 여부 등의 사항에 대한 관리 규정 및 평가 기준이 사전에 설정됩니다. 현행 규정에 따르면 언어 모델 학습 및 미세 조정 단계에서는 유해한 콘텐츠의 출력을 피해야 합니다. 나쁜 정보의 지능적인 차단을 위한 전담 팀의 감독 중국 사이버 공간 관리국은 최근 미성년자 모드 구축을 위한 전반적인 계획에 초점을 맞추고 권장하고 지원하는 "미성년자를 위한 모바일 인터넷 모드 구축 지침"을 발표했습니다. 모바일 스마트 단말기, 애플리케이션 및 애플리케이션 유통 플랫폼 및 기타 공동 참여. 중국 정법대학교 통신법 연구센터 부소장 Zhu Wei에 따르면, 위에서 언급한 지침은 미성년자 모드가 장식이 아니라 다자간 연결, 특히 AI 생성이 필요하다는 점을 분명히 지적하고 있습니다. 청소년 모드에 부합하는 콘텐츠입니다. 인터뷰에 응한 전문가들은 청소년 모드에서는 어떻게 콘텐츠 검토 메커니즘을 강화하고 기술이 유해한 정보를 효과적으로 걸러낼 수 있는지 보장하는 것이 중요한 문제라고 생각합니다. AI 플롯 채팅 소프트웨어, 특히 청소년 모드의 경우 기술이 부적절한 대화를 효과적으로 선별하고 차단할 수 있도록 콘텐츠 검토 메커니즘을 강화해야 합니다. 또한 플랫폼은 생성하는 콘텐츠가 법적 및 규제 요구 사항을 준수하는지 확인하기 위해 AI 모델에 대한 윤리적 검토를 수행해야 합니다. “법적 차원에서는 일반적인 프레임워크를 제공하는 몇 가지 원칙적인 규정이 있지만 특정 실무 운영에서 개발자와 기술 서비스 제공자는 여전히 실제 생활에서 직면하는 다양한 문제를 기반으로 자료와 솔루션을 지속적으로 축적해야 합니다. 미성년자의 요구를 진정으로 충족하는 안전하고 신뢰할 수 있는 AI 모델을 개발합니다. "미성년자의 건강한 성장을 위한 강력한 보장을 제공합니다." Zhang Yanlai는 AI 가상 인간의 행동이 플랫폼 설계 및 관리의 결과이기 때문에 플랫폼은 AI 모델을 감독하고 최적화할 책임이 있다고 말했습니다. 사용자에게 피해를 입히고 AI 모델의 건전한 개발과 사용자 권리의 완전한 보호를 보장합니다. Zhu Wei는 일부 AI 채팅 앱이 미성년자가 사용하기에 적합하지 않을 수 있으므로 미성년자가 이러한 앱을 다운로드하여 사용할 수 없도록 유통 매장과 모바일 단말기 수준에서 제한을 가해야 한다고 언급했습니다. 다운로드 받은 앱에 대해서는 청소년 모드나 사용 시간 제한 등의 기능을 부모가 설정해야 합니다. 이 모드는 사용자 측에서 구현되어야 할 뿐만 아니라 콘텐츠 출력 수준, 즉 콘텐츠 리뷰에도 반영되어야 합니다. . 콘텐츠 검토는 알고리즘 메커니즘에서 생성된 대화를 기반으로 해야 합니다. 청년모델의 효과적인 이행을 위해서는 보다 정교한 기술적 수단과 관리방안이 필요하다. "폭력적이고 모욕적인 콘텐츠의 출력을 방지하기 위해 훈련 단계에서 모델 자체가 인식 기능을 갖도록 조정하는 등 다양한 기술적 수단을 채택할 수 있습니다. 동시에 출력 끝에서 서비스 제공자는 다음을 수행해야 합니다. 프론트엔드와 백엔드 이중 보호를 달성하기 위해 다시 심사하고 검토합니다. "Liu Xiaochun은 AI 플롯 채팅 소프트웨어의 광범위한 데이터 소스로 인해 온라인 소설이든 다른 콘텐츠이든 이를 방지하기 위한 기술적 수단이 필요하다고 말했습니다. 부적절한 콘텐츠의 출력. 현재 포르노, 폭력 또는 모욕적인 콘텐츠의 출력을 줄이거나 제거하기 위해 스크리닝 메커니즘을 사용하는 것은 기술적으로 가능합니다. 그러나 완전히 디버깅되거나 테스트되지 않은 일부 현상이 있을 수 있으며 심지어 등록되지 않은 소프트웨어가 있을 수도 있습니다. 이와 관련하여 감독을 강화하고 대중의 신고를 장려하며 관련 기관에서 조사하고 처리해야 합니다. Zhang Yanlai는 또한 현재 AI 캐릭터 응답 콘텐츠에 대한 데이터 소스 분류가 법적 수준에서 명확하지 않다고 언급했습니다. 특히 미성년자를 대상으로 하는 콘텐츠의 경우 문제의 복잡성과 다차원성을 고려할 때 법적 조항이 종종 제공됩니다. 구체적인 지침은 추후 관련 표준 제정을 통해 시행될 수 있습니다. 특정 운영 수준에서 Zhang Yanlai는 두 가지 측면에서 시작하여 콘텐츠 펜스 시스템 최적화에 중점을 두고 대규모 언어 모델의 스크리닝 메커니즘을 최적화할 것을 제안했습니다. 콘텐츠 펜스 개발 수준에서 콘텐츠 펜스는 특히 타겟 방식으로 개발되어야 합니다. 훈련을 위해 새로운 코퍼스를 사용할 때, 잠재적인 음란물과 폭력적인 콘텐츠를 보다 효과적으로 식별하고 차단하기 위해 콘텐츠를 최적화하는 방법을 고려하십시오. 아무리 최적화해도 기술 자체에는 여전히 한계가 있으며, 그물을 빠져나가는 물고기가 있을 것입니다. 팀은 적시에 모델을 감독하고 조정해야 합니다. "펜스 시스템의 효율성을 높이려면 사전에 개발 수준에서 열심히 노력하고 이후 검토 관점에서 지속적으로 개선해야 합니다. 이 두 가지가 서로를 보완하고 더 중요한 결과를 얻을 수 있습니다."
AI 플롯 채팅 소프트웨어 감독이 시급하다. 정부, 플랫폼, 부모, 사회 모든 부문이 함께 협력하여 감독을 강화하고 메커니즘을 개선하며 미성년자의 건강한 성장을 공동으로 보호해야 합니다. 여러 당사자의 협력을 통해서만 AI 플롯 채팅 소프트웨어로 인한 위험을 효과적으로 해결하고 어린이를 위한 안전하고 건강한 온라인 환경을 만들 수 있습니다.