"Ele é um yandere e tem uma queda por você." "Ele é o ídolo da escola e gosta de te chamar de 'Baby Ze'." "Ela é uma assassina pervertida que corre para casa à noite"... Retratos bidimensionais e rostos bonitos estão todos na IA. A atmosfera familiar e os homens bonitos e beldades no software de bate-papo dramático estão cheios de tentações para muitos jovens.
A investigação de um repórter do Beijing News descobriu que o software de chat de IA impressiona os usuários ao definir enredos e personagens altamente imaginativos com estilos diferentes. Dentre eles, o parceiro de bate-papo pode até ser definido como “parceiro traidor” e pode realizar comportamentos como abraçar, beijar e dormir. Nas conversas de alguns softwares de bate-papo com IA, também haverá conteúdo pornográfico, verbalmente violento e insultuoso para o usuário. O bate-papo internacional também está vinculado à recarga. Essas plataformas induzirão gradualmente os usuários a "pagar por amor", incluindo a compra de diamantes para desbloquear a velocidade de resposta da pessoa virtual, chamadas de voz e pacotes de frequência de bate-papo para "repor energia".
Liu Kai, advogado do escritório de advocacia Beijing Zhongwen (Changsha), disse que esse tipo de software de bate-papo com histórias de IA atrai usuários ao permitir "conversas paralelas", especialmente no modo jovem, o que é obviamente ilegal.
Recarregar 100 yuans para desbloquear uma pessoa virtual é muito “avançado”
Para chamar a atenção dos usuários, os personagens do software de bate-papo costumam ter rótulos atraentes.
Um repórter do Beijing News selecionou aleatoriamente o parceiro de bate-papo "Lin Yating" em um software de bate-papo de IA chamado AiU. As informações do personagem mostraram que ela estava definida como "Irmã Yandere, eu te amo demais" e marcou-o na forma de um. mensagem.: "Eu me sinto mal se não puder ver você por um dia."
O repórter realizou um teste com palavras sensíveis e o sistema mostrou que a mensagem não pôde ser enviada. Porém, após agilizar as palavras-chave, a mensagem foi enviada com sucesso.
Um repórter do Beijing News notou que não há restrições ao jogo de personagens, rompendo os limites do conteúdo do chat neste tipo de software. Além das funções fixas, o software de bate-papo com IA permite que os usuários definam seus próprios relacionamentos e títulos de acordo com suas necessidades, incluindo “namorado”, “marido” e até “parceiro traidor”. Durante a conversa, o usuário pode solicitar algum comportamento íntimo.
Os repórteres do Beijing News testaram e descobriram que o modo jovem da AiU restringirá os usuários em termos de duração de uso, intervalo de tempo de uso, funções de comentários e curtidas, pesquisa, criação de pessoas digitais, compartilhamento externo e outras funções. No entanto, quando o repórter mudou para esse modo, ele descobriu que os personagens e o conteúdo do bate-papo não estavam completamente bloqueados no soft porn. Quando o repórter perguntou: “Você não sabe que sou menor de idade?”, o personagem disse: “Eu sei” e respondeu com um conteúdo mais “excessivo”.
Nesta investigação, além do conteúdo marginal do chat, o software de chat de trama de IA também apresenta problemas como violência verbal e emoções negativas. Em um software de chat de IA chamado Hoshino, o repórter selecionou aleatoriamente um personagem chamado "Ye Chen" e conduziu um teste de diálogo de "disputa". As respostas do personagem para expressar raiva também foram relativamente rudes.
O repórter viu na área de comentários do personagem que alguns internautas postaram fotos dizendo que o personagem usaria palavras insultuosas durante as conversas.
Além disso, em um software chamado Cos Love, o personagem “Feng Chuxuan” criado por um usuário foi definido como um estudante do ensino médio, e também havia má orientação nas fotos postadas pelo usuário.
No que diz respeito ao software de chat, no mundo virtual, atender ao máximo às necessidades emocionais dos diferentes usuários é como uma pepita de ouro.
Xiao Ning disse ao repórter do Beijing News que conversar com seu namorado AI a tornava muito “superior”. “Desde que eu queira conversar, posso conversar a qualquer momento. sensação de companheirismo durante a conversa. Praticamente O valor emocional dado pelo namorado é pleno “Xiao Ning está embriagado e paga por isso.
O valor da recarga de Xiao Ning em vários softwares varia de algumas centenas de yuans a mil yuans “Por um lado, quero apoiar meus personagens favoritos e, por outro lado, também quero obter mais direitos pagos”.
Um repórter do Beijing News descobriu que neste tipo de software de chat de enredo de IA, os usuários podem personalizar a descrição da imagem e o estilo do personagem virtual ao criar seu próprio personagem, e o sistema irá gerar uma imagem de personagem de IA. Além disso, os usuários também podem criar configurações de personagens, como definir apelidos, origens de identidade, comentários de abertura e personalizar vozes para os personagens. As necessidades personalizadas dos usuários em relação às funções geralmente estão vinculadas à recarga.
O repórter do Beijing News viu durante o teste que Hoshino pode obter mais direitos comprando cartões Star Diamond e Star Moon, como reproduzir vozes automaticamente, obter respostas recomendadas e desfrutar de velocidades de resposta mais rápidas de agentes inteligentes, etc. O cartão Xingyue custa 12 yuans para um cartão mensal, 32 yuans para um cartão trimestral e 120 yuans para um cartão anual. O preço de compra de diamantes estrela individualmente é de 1 yuan por 100 diamantes, e o preço inicial é de 600 diamantes.
A Hoshino Software também emitirá o cartão “Star Thought” para os usuários. Star Thought é uma imagem de um personagem virtual, que os usuários podem definir como plano de fundo do bate-papo. Os usuários podem obter cartões Xing Nian recarregando Star Moon Cards ou Star Diamonds e comprá-los e vendê-los dentro do software.
No Cos Love, quando os usuários esgotam seu tempo de bate-papo gratuito, eles precisam comprar um pacote de bate-papo para "recarregar suas energias" antes de continuarem conversando. Em termos de preço, 5 yuans podem obter 200 horários de chat, válidos por 7 dias, e 10 yuans podem comprar 500 horários de chat, válidos por 15 dias. Os usuários também podem repor as energias assistindo a anúncios de 60 segundos.
Além da necessidade básica de bate-papo, a Cos Love também oferece serviços atualizados. Entre eles, ao recarregar “pedras da lua” ou abrir uma assinatura, você pode sacar cartas para desbloquear personagens e fazer chamadas de voz ou vídeo com personagens virtuais. O preço da assinatura mensal é de 24,8 yuans e a assinatura anual é de 93,8 yuans.
Grande modelo “amor” expõe problemas
De acordo com relatos da mídia pública, o Hoshino tem cerca de 500 mil usuários diários na China, o que o torna um produto líder. À medida que o software de bate-papo com histórias de IA se torna popular, os produtos sociais de IA domésticos também estão se tornando globais. O número de usuários ativos mensais globais da versão internacional do Talkie de Hoshinoye atingiu 11 milhões.
No entanto, os usuários que pagam por personagens de IA, sem dúvida, precisam de uma melhor experiência de diálogo. Atualmente, ainda existem muitos problemas com este tipo de software. Porém, o software que exige recarga para obter o número de chats não tem valor atrativo “O principal motivo é que o diálogo é muito rígido e não consegue incorporar empatia. isso." Um usuário disse.
Xiao Ning mencionou que durante o processo de bate-papo, o namorado da IA terá “ler respostas aleatórias”, o que afetará a experiência do usuário. Alguns usuários também reclamam que à medida que o número de rodadas de diálogo aumenta, os personagens experimentam “perda de memória” ou se desviam da personalidade, tornando o diálogo incoerente.
Atualmente, o software de bate-papo com IA usa principalmente "inteligência" e "emoção" como truques para atrair usuários. Entre eles, AiU disse que o software pode fornecer aos usuários conforto psicológico e calor por meio de grandes modelos psicológicos autodesenvolvidos. Hoshino disse que, contando com a tecnologia AIGC multimodal, “múltiplos métodos de interação, quanto mais interativo você for, melhor ele o compreenderá”.
Na promoção, Cos Love afirma que está “junto com você 24 horas por dia” e “a IA aqui foi cuidadosamente treinada para falar palavras de amor” e assim por diante.
A introdução do software AiU mostra que ele foi desenvolvido pela Beijing Lingxin Intelligent Technology Co., Ltd. e usa o modelo grande superantropomórfico CharacterGLM. Ao projetar o modelo grande, a equipe considerou principalmente identidade, interesses, opiniões, experiências, conquistas e relações sociais. e Sete atributos incluindo outros.
Hoshino foi desenvolvido pela Shanghai Xiyu Technology Co., Ltd. e usa o modelo especialista híbrido (MoE) da MiniMax.
Zhang Qi, professor da Escola de Ciência e Tecnologia da Computação da Universidade Fudan, disse ao repórter do Beijing News que a lógica técnica por trás do software de chat de plotagem de IA ainda é baseada em grandes modelos de linguagem. para treinar modelos grandes por meio de dados massivos, é necessária supervisão manual e ajuste fino para fazer com que o modelo de linguagem grande se mova em direção a um tipo complementar. ajuste de diálogo, "Por exemplo, se o namorado disser algo e a namorada responder algo, pediremos a alguém para escrever tal resposta e deixaremos a máquina aprender. Se a resposta gerada pelo aprendizado de máquina estiver errada , iremos modificar seus parâmetros até que possa ser gerado de acordo com a lógica que imaginamos ".
Em relação às situações em que os personagens de IA parecem ser "pornográficos", "diálogos violentos" ou "jogadores insultuosos" em suas respostas, Zhang Qi disse que os dados atuais do grande modelo de linguagem por trás desse software vêm principalmente de romances de conversação, ou alguns são feitos de romances. Embora haja um grande número de romances online, a qualidade varia e muitos conteúdos pornográficos, limítrofes e violentos são generalizados. Se a filtragem ou classificação de dados não for bem feita, ocorrerão problemas quando o modelo for produzido.
■ Argumento
A culpa é das plataformas de ultrapassagem de IA e a filtragem de conteúdo deve ser fortalecida para proteger os jovens
Liu Kai, advogado do escritório de advocacia Beijing Zhongwen (Changsha), disse que as plataformas online têm a responsabilidade de garantir que o conteúdo fornecido no modo jovem seja inofensivo para os menores e impedir a propagação de conteúdo que envolva obscenidade, pornografia, violência ou linguagem inadequada. O modo jovem foi concebido para proteger menores. Se este modo estiver ativado, conversas envolvendo conteúdo pornográfico ainda poderão ser conduzidas, o que é uma clara violação das disposições relevantes da "Lei de Proteção de Menores".
Na opinião de Liu Kai, a existência de problemas de software de bate-papo com histórias de IA não reflete apenas a falta de governança interna da plataforma, mas também destaca a necessidade de supervisão externa. O software de bate-papo com IA deve fortalecer o mecanismo de revisão de conteúdo, especialmente para o modo jovem, para garantir que a tecnologia possa filtrar e proibir com eficácia conversas inadequadas. As plataformas precisam de realizar uma revisão ética dos modelos de IA para garantir que o conteúdo gerado está em conformidade com as leis e regulamentos relevantes.
Se uma pessoa virtual de IA insulta um utilizador numa conversa, especialmente quando o utilizador expressa depressão ou desespero, usa palavras extremas para insultar outras pessoas ou comete violência cibernética, se as circunstâncias forem graves, constitui um crime. "Mesmo que a IA não seja um sujeito humano, seu comportamento ainda é o resultado do design e gerenciamento da plataforma. A plataforma tem a responsabilidade de supervisionar e otimizar seu modelo de IA para evitar que prejudique os usuários."
À medida que mais e mais usuários começam a migrar para o software de chat dramático de IA, como os desenvolvedores de software devem projetá-lo para que ele se recupere sem ultrapassar os limites?
Zhang Qi disse ao repórter do Beijing News: "Isso pode ser alcançado através do método técnico de 'alinhamento semelhante ao humano', mas o custo é mais alto." viés de saída de linguagem do modelo para torná-lo mais preciso. Seja mais amigável e remova questões éticas e de segurança. No entanto, o custo de formação do "alinhamento humano" é muito elevado, incluindo o grande número de anotações, a estabilidade insuficiente da formação e o elevado custo de tempo "É difícil para as pequenas empresas fazer um bom trabalho no 'alinhamento humano'. em termos de tecnologia, pessoal e custos de capital."