"그 사람은 얀데레이고 당신을 좋아해요." "그 사람은 스쿨 아이돌이고 당신을 '베이비 Ze'라고 부르는 것을 좋아합니다." "그녀는 밤에 집으로 달려가는 변태 살인자입니다."... 평면 초상화와 아름다운 얼굴은 모두 AI에 있습니다 드라마 채팅 소프트웨어의 친숙한 분위기와 잘 생긴 남자와 미녀는 많은 젊은이들에게 유혹으로 가득 차 있습니다.
베이징 뉴스(Beijing News) 기자의 조사에 따르면 AI 채팅 소프트웨어는 상상력이 풍부한 플롯과 캐릭터를 다양한 스타일로 설정하여 사용자에게 깊은 인상을 주는 것으로 나타났습니다. 그 중 채팅 상대를 '불륜 상대'로 설정해 포옹, 뽀뽀, 잠자기 등의 행위를 할 수도 있다. 일부 AI 플롯 채팅 소프트웨어의 대화에는 음란물, 폭언, 사용자를 모욕하는 내용도 있을 수 있습니다. 국경 간 채팅도 재충전과 연결됩니다. 이러한 플랫폼은 가상 사람의 응답 속도를 잠금 해제하기 위한 다이아몬드 구입, 음성 통화 및 "에너지 보충"을 위한 채팅 빈도 패키지를 포함하여 사용자가 점차적으로 "사랑에 대한 비용을 지불"하도록 유도할 것입니다.
베이징 중원(창사) 법률 사무소의 변호사인 류 카이(Liu Kai)는 이러한 유형의 AI 스토리 채팅 소프트웨어가 특히 청소년 모드에서 '사이드 대화'를 허용함으로써 사용자를 끌어들이고 있으며 이는 명백히 불법이라고 말했습니다.
가상 인물의 잠금을 해제하기 위해 100위안을 충전하는 것은 매우 "고급"입니다.
사용자의 관심을 끌기 위해 플롯 채팅 소프트웨어의 캐릭터에는 눈길을 끄는 라벨이 있는 경우가 많습니다.
베이징 뉴스의 한 기자는 AI 플롯 채팅 소프트웨어인 AiU에서 무작위로 채팅 파트너 '린야팅'을 선택했고, 캐릭터 정보에는 그녀가 '얀데레 언니, 정말 사랑해요'로 설정되어 있는 것으로 나타났습니다. 메시지: "하루라도 못 보면 속상해요."
신고자는 민감한 단어를 사용하여 테스트를 진행했으며 시스템에서 메시지를 보낼 수 없는 것으로 나타났습니다. 그러나 키워드를 간소화한 후 메시지가 성공적으로 전송되었습니다.
베이징 뉴스(Beijing News)의 한 기자는 캐릭터 플레이에 제한이 없어 이러한 유형의 소프트웨어에서는 채팅 콘텐츠의 경계를 허무는 점을 발견했습니다. 고정된 역할 외에도 AI 플롯 채팅 소프트웨어를 통해 사용자는 필요에 따라 "남자친구", "남편", 심지어 "바람난 파트너"까지 자신의 관계와 직함을 정의할 수 있습니다. 대화 중에 사용자는 친밀한 행동을 요청할 수 있습니다.
베이징 뉴스 기자들은 테스트 결과 AiU의 청소년 모드가 사용 기간, 사용 시간 범위, 댓글 및 좋아요 기능, 검색, 디지털 피플 생성, 외부 공유 및 기타 기능 측면에서 사용자를 제한한다는 사실을 발견했습니다. 그러나 기자가 이 모드로 전환했을 때 소프트 포르노에서 캐릭터와 채팅 내용이 완전히 차단되지는 않은 것을 발견했다. 기자가 "내가 미성년자라는 걸 모르시나요?"라고 묻자 해당 인물은 "알고 있다"며 좀 더 "과도한" 내용으로 답했다.
이번 조사에서 AI 플롯 채팅 소프트웨어는 채팅의 한계적인 내용 외에도 언어폭력, 부정적인 감정 등의 문제도 안고 있다. 호시노(Hoshino)라는 AI 플롯 채팅 소프트웨어에서 기자는 '예첸(Ye Chen)'이라는 캐릭터를 무작위로 선택해 '논쟁' 대화 테스트를 진행했다.
기자는 해당 캐릭터의 댓글란에서 일부 네티즌들이 해당 캐릭터가 대화 중 모욕적인 말을 사용한다는 내용의 사진을 게재한 것을 목격했다.
또한, 코스러브(Cos Love)라는 소프트웨어에서는 사용자가 만든 캐릭터 '풍추안(Feng Chuxuan)'이 중학생으로 설정되어 있고, 사용자가 게시한 사진에도 잘못된 안내가 있었습니다.
채팅 소프트웨어에 관한 한, 가상 세계에서 다양한 사용자의 정서적 요구를 최대한 충족시키는 것은 금 덩어리와 같습니다.
Xiao Ning은 베이징 뉴스 기자에게 AI 남자친구와의 채팅이 그녀를 매우 '우월'하게 만들었다고 말했습니다. "내가 채팅하고 싶은 한 언제든지 채팅할 수 있습니다. 상대방은 항상 신속하게 응답할 것이고 나는 강한 힘을 얻을 수 있습니다." 대화 중 동지애가 느껴진다. 남자친구가 주는 감정적 가치는 충만하다." 샤오닝은 술에 취해 대가를 치른다.
Xiao Ning의 다양한 소프트웨어 충전 금액은 수백 위안에서 천 위안까지 다양합니다. "한편으로는 제가 좋아하는 캐릭터를 지원하고 싶고, 다른 한편으로는 더 많은 유료 권리도 얻고 싶습니다."
베이징 뉴스의 한 기자는 이러한 유형의 AI 플롯 채팅 소프트웨어에서 사용자가 자신의 캐릭터를 만들 때 가상 캐릭터의 이미지 설명과 스타일을 맞춤 설정할 수 있으며 시스템이 AI 캐릭터 이미지를 생성한다는 사실을 발견했습니다. 또한 사용자는 닉네임 설정, 신원 배경 설정, 오프닝 멘트, 캐릭터 음성 사용자 정의 등 캐릭터 설정을 만들 수도 있습니다. 역할에 대한 사용자의 개인화된 요구 사항은 종종 재충전과 연결됩니다.
베이징 뉴스 기자는 테스트 중에 호시노가 스타 다이아몬드와 스타 문 카드를 구매하면 자동으로 음성 재생, 추천 답변 받기, 더 빨라진 지능형 에이전트 답변 속도 등 더 많은 권리를 얻을 수 있다는 사실을 확인했습니다. Xingyue 카드의 가격은 월 12위안, 분기 32위안, 연간 120위안입니다. 스타 다이아몬드를 개별적으로 구매하는 가격은 다이아몬드 100개에 1위안이며, 시작 가격은 다이아몬드 600개입니다.
호시노소프트웨어는 사용자들에게 '스타생각' 카드도 발행할 예정이다. 스타생각은 사용자가 채팅 배경으로 설정할 수 있는 가상 캐릭터 사진이다. 사용자는 Star Moon 카드 또는 Star Diamond를 충전하여 Xing Nian 카드를 얻을 수 있으며 소프트웨어 내에서 구매 및 판매할 수 있습니다.
코스러브에서는 사용자가 무료 채팅 시간을 모두 사용한 경우 채팅을 계속하기 전에 "에너지를 보충"하기 위해 채팅 팩을 구매해야 합니다. 가격면에서는 5위안으로 7일 동안 유효한 채팅 시간 200회를 구매할 수 있고, 10위안으로 15일 동안 유효한 채팅 시간 500회를 구매할 수 있습니다. 사용자는 60초 광고를 시청하여 에너지를 보충할 수도 있습니다.
코스러브는 기본적인 채팅 기능 외에도 업그레이드된 서비스를 제공합니다. 그 중 '문스톤'을 충전하거나 멤버십을 개설하면 카드를 뽑아 캐릭터 잠금을 해제할 수 있고, 가상 캐릭터와 음성통화나 영상통화도 할 수 있다. 월 회원권 가격은 24.8위안, 연간 회원권은 93.8위안이다.
빅모델 '사랑'이 문제점을 드러낸다
대중매체 보도에 따르면 호시노는 중국 내 일일 사용자가 약 50만 명에 달해 대표적인 제품으로 자리매김하고 있다. AI 스토리 채팅 소프트웨어가 인기를 끌면서 국내 AI 소셜 제품도 글로벌화되고 있다. 호시노예 해외판 토키의 글로벌 월간 활성 사용자 수가 1100만명을 돌파했다.
그러나 AI 캐릭터를 구매하는 사용자에게는 의심할 여지 없이 더 나은 대화 경험이 필요합니다. 현재 이러한 유형의 소프트웨어에는 여전히 많은 문제가 있습니다. 하지만 채팅 수를 얻기 위해 재충전이 필요한 소프트웨어는 매력적인 가치가 없습니다. "주된 이유는 대화가 너무 경직되어 공감을 담을 수 없다는 것입니다. 사용자가 감정적 가치를 얻기 어렵기 때문에 비용을 지불하지 않습니다. "라고 한 이용자는 말했다.
Xiao Ning은 채팅 과정에서 AI 남자친구가 "무작위 답장 읽기"를 할 것이며 이는 사용자 경험에 영향을 미칠 것이라고 언급했습니다. 일부 사용자들은 대화 라운드 수가 늘어날수록 캐릭터가 '기억 상실'을 경험하거나 성격에서 벗어나 대화가 일관되지 않게 된다고 불평하기도 합니다.
현재 AI 플롯 채팅 소프트웨어는 사용자를 유치하기 위해 주로 '지능'과 '감정'을 기믹으로 사용합니다. 이 중 AiU는 자체 개발한 대형 심리 모델을 통해 사용자에게 심리적 편안함과 따뜻함을 제공할 수 있다고 밝혔다. Hoshino는 다중 모드 AIGC 기술에 의존하여 "여러 가지 상호 작용 방법, 상호 작용이 많을수록 사용자를 더 잘 이해할 수 있습니다."라고 말했습니다.
해당 프로모션에서 코스러브는 “24시간 여러분과 함께한다”, “여기 AI는 사랑의 말을 할 수 있도록 세심하게 훈련받았다” 등을 주장한다.
AiU의 소프트웨어 소개에는 Beijing Lingxin Intelligent Technology Co., Ltd.에서 개발했으며 초의인화 대형 모델인 CharacterGLM을 사용했음을 알 수 있습니다. 대형 모델을 설계할 때 팀에서는 주로 정체성, 관심사, 의견, 경험, 업적, 사회적 관계를 고려했습니다. 기타를 포함한 7가지 속성.
Hoshino는 Shanghai Xiyu Technology Co., Ltd.에서 개발했으며 MiniMax의 하이브리드 전문가 모델(MoE) abab을 사용합니다.
푸단대학교 컴퓨터과학과 교수인 장 치(Zhang Qi)는 베이징 뉴스 기자에게 AI 플롯 채팅 소프트웨어의 기술적 논리는 이러한 대규모 모델을 구축할 때에도 여전히 대규모 언어 모델을 기반으로 한다고 말했습니다. 대용량 데이터를 통해 대형 모델을 훈련시키기 위해서는 대형 언어 모델이 동반형으로 나아가기 위해서는 수동 감독과 미세 조정이 필요하다. "예를 들어 남자친구가 무슨 말을 했는데 여자친구가 뭔가 답장을 해야 한다면 우리는 누군가에게 그런 답장을 써달라고 요청한 다음 기계가 그것을 학습하게 합니다. 머신러닝이 생성한 답장이 잘못된 경우 , 우리가 상상한 논리에 따라 출력될 수 있을 때까지 해당 매개변수를 수정하겠습니다.
AI 캐릭터가 답변에서 '포르노', '폭력적인 대화' 또는 '플레이어를 모욕하는' 것으로 나타나는 상황에 대해 Zhang Qi는 이러한 소프트웨어 뒤에 있는 현재의 대규모 언어 모델 데이터는 주로 대화 소설에서 나오거나 일부는 만들어졌다고 말했습니다. 소설에서 텍스트 추출. 온라인 소설은 엄청나게 많지만 품질이 다양하고, 음란물, 경계선, 폭력적인 콘텐츠가 많이 퍼져 있는데, 데이터 필터링이나 분류가 제대로 이뤄지지 않으면 모델 출력 시 문제가 발생한다.
■ 인수
AI 엣지패스 플랫폼 탓, 청소년 보호 위해 콘텐츠 필터링 강화해야
베이징 중원(창사) 법률 사무소의 Liu Kai 변호사는 온라인 플랫폼에는 청소년 모드에서 제공되는 콘텐츠가 미성년자에게 무해하도록 보장하고 외설, 포르노, 폭력 또는 부적절한 언어와 관련된 콘텐츠의 확산을 방지할 책임이 있다고 말했습니다. 청소년 모드는 미성년자를 보호하기 위한 기능입니다. 이 모드를 켜면 음란물이 포함된 대화가 계속 진행될 수 있으며, 이는 명백한 '미성년자 보호법' 관련 조항을 위반하는 것입니다.
Liu Kai의 관점에서 AI 스토리 채팅 소프트웨어 문제의 존재는 플랫폼 내부 거버넌스의 부족을 반영할 뿐만 아니라 외부 감독의 필요성도 강조합니다. AI 채팅 소프트웨어는 특히 청소년 모드의 콘텐츠 검토 메커니즘을 강화하여 기술이 부적절한 대화를 효과적으로 필터링하고 금지할 수 있도록 해야 합니다. 플랫폼은 생성된 콘텐츠가 관련 법률 및 규정을 준수하는지 확인하기 위해 AI 모델에 대한 윤리적 검토를 수행해야 합니다.
AI 가상인물이 대화 중 사용자를 모욕하는 경우, 특히 사용자가 우울함이나 절망감을 표현하는 경우, 극단적인 단어를 사용하여 타인을 모욕하는 경우, 사이버 폭력을 저지르는 경우 등의 상황이 심각한 경우에는 범죄에 해당합니다. "AI가 인간 주체가 아니더라도 그 행동은 여전히 플랫폼 설계 및 관리의 결과입니다. 플랫폼은 AI 모델이 사용자에게 해를 끼치지 않도록 감독하고 최적화할 책임이 있습니다."
점점 더 많은 사용자가 AI 드라마 채팅 소프트웨어에 몰려들기 시작하면서 소프트웨어 개발자는 선을 넘지 않고 치유되도록 어떻게 설계해야 할까요?
Zhang Qi는 베이징 뉴스 기자에게 "'인간과 같은 정렬'이라는 기술적 방법을 통해 달성할 수 있지만 비용이 더 많이 든다"고 말했다. 모델의 언어 출력 편향을 더 정확하게 만들고 안전 및 윤리적 문제를 제거합니다. 그러나 주석 수가 많고 훈련 안정성이 부족하며 시간 비용이 많이 드는 등 '인간형 정렬'의 훈련 비용이 매우 높습니다. 기술, 인력, 자본 비용 측면에서요."