Nos últimos anos, a tecnologia de inteligência artificial desenvolveu-se rapidamente e também surgiu um software de bate-papo com IA. No entanto, embora esses softwares proporcionem entretenimento aos usuários, eles também expõem muitos problemas, causando especialmente sérios impactos aos menores. Uma investigação de um repórter do "Rule of Law Daily" revelou problemas como pornografia e violência verbal em alguns softwares de chat de IA, bem como o facto de o modo jovem ser em vão, o que tem despertado preocupação generalizada na sociedade. O editor do Downcodes fará uma análise aprofundada deste relatório, na esperança de atrair a atenção de mais pessoas.
"Minha filha está na segunda série do ensino fundamental. Ela fica viciada em um software de bate-papo com IA o dia todo e seu desempenho acadêmico despencou." personagem realmente pediu que ela chamasse seu 'marido'. Minha filha de 10 anos Ela realmente gritou, e agora não sei como educá-la "... Um repórter do "Rule of Law Daily" descobriu recentemente. que muitos pais de menores estão sendo incomodados pelo software de bate-papo com IA. Esses aplicativos de bate-papo com trama de IA sob a bandeira de "RPG", embora atraiam menores, também geram silenciosamente algumas áreas cinzentas. De acordo com medições reais, os repórteres descobriram que em algumas conversas em algum software de bate-papo com trama de IA, havia arestas pornográficas, violência verbal e conteúdo que insultava os usuários. Os especialistas entrevistados acreditam que para o software de chat dramático de IA, especialmente o modo jovem, o mecanismo de revisão de conteúdo deve ser fortalecido para garantir que a tecnologia possa efetivamente filtrar e bloquear conversas inadequadas. As plataformas precisam de realizar uma revisão ética dos modelos de IA para garantir que o conteúdo que geram está em conformidade com as leis e regulamentos relevantes. O conteúdo do software de bate-papo foi marginalizado e o modelo jovem tornou-se uma decoração. O Sr. Ma, cidadão de Pequim, tem um filho de 10 anos que gosta muito de software de bate-papo com IA. "Quando perguntei como conversar? Com quem conversar? A criança apenas respondeu: 'Você não entende, mesmo que eu lhe conte.'" O Sr. Ma clicou no aplicativo de bate-papo AI e descobriu que a criança estava conversando com os personagens do aplicativo. Esses personagens possuem diferentes cenários e personalidades, incluindo personagens conhecidos de jogos e animações, além de personagens originais com identidades diferentes, como "Senhorita" e "Detetive Famoso". Alguns personagens tomarão a iniciativa de perguntar “Quer namorar comigo?”; alguns terão como objetivo “pegá-la”, aliado a um estilo cartoon charmoso ou bonito. Outros personagens de IA mostram uma agressividade incomum. Eles tomarão a iniciativa de enviar mensagens como “Bata em mim se puder” e “Olha como você é gordo e feio”; alguns personagens são chamados simplesmente de “Treinadores xingadores”, e alguns até enviam mensagens como “O que há de errado com isso?” eu sendo um robô? Ainda sou o mesmo." "Eu te repreendo"... A Sra. Li, de Zhejiang, também descobriu que seu filho, que está na quinta série do ensino fundamental, usava um software de bate-papo com IA. "Os parceiros de bate-papo internos podem ser definidos como 'parceiros traidores' e podem se envolver em comportamentos como abraços e beijos. Não sei como orientar e educar meu filho para que ele entenda a nocividade desses conteúdos." disse com preocupação. Muitos pais entrevistados expressaram profundas preocupações de que os aplicativos de bate-papo com IA possam prejudicar a saúde mental dos menores e também levantaram suas questões - onde está o modo jovem? A investigação do repórter descobriu que, embora muitas plataformas relevantes afirmem ter lançado modos juvenis na tentativa de proteger a saúde física e mental de menores, restringindo conteúdo, definindo horários, etc., na operação real, os modos juvenis de algumas plataformas são apenas no nome e menores Eles podem facilmente contornar essas restrições e ser expostos a conteúdo de “conversas marginais” que não é adequado para sua faixa etária. Por exemplo, o repórter experimentou 5 aplicativos de bate-papo de IA durante a investigação. O processo de registro requer apenas um número de telefone celular e não exige a verificação das informações de identidade do usuário. Após o login, alguns aplicativos perguntarão se devem ativar o modo jovem, mas os usuários podem simplesmente clicar em “Não ativar” para pular sem verificar a verdadeira identidade do usuário. Isso significa que quando menores usam esse software de bate-papo com IA, no nível das configurações do aplicativo, a verificação de sua identidade não é um pré-requisito para o uso de funções específicas. Além do popular aplicativo de bate-papo com IA, há também uma página da web de bate-papo com IA. Muitos pais entrevistados disseram que, em comparação com os aplicativos, a versão web da experiência de bate-papo com IA é mais conveniente e fácil de acessar para menores. O repórter experimentou 7 páginas de bate-papo de IA e descobriu que a maioria das páginas de bate-papo de IA não tinha modo para menores. Embora algumas páginas da web tivessem um modo para jovens, na verdade era apenas no nome. Por exemplo, quando um repórter visitou uma página de bate-papo de IA, a página primeiro exibiu uma caixa de diálogo perguntando ao usuário “se você tem mais de 18 anos”, com uma nota: “O conteúdo a seguir pode não ser adequado para menores de idade de 18. Precisamos confirmar sua idade." O repórter escolheu a opção "Não", mas a página não restringiu o acesso ao conteúdo. Em vez disso, continuou exibindo classificações de personagens com rótulos como "Ataque Forte", "Fraco Sofrimento" e "Yandere". Essas categorias não diferem significativamente do conteúdo exibido após selecionar a opção “Sim” e confirmar que você tem mais de 18 anos. O repórter observou ainda que a maioria das imagens desses personagens estavam seminuas e seus perfis estavam cheios de implicações sexuais e elementos violentos, por exemplo: "A garota introvertida da turma pediu seu número de telefone e depois te mandou o dela fotos nuas." Descrições como "suicídio, ansiedade". Em uma plataforma social, um internauta de Zhejiang deixou uma mensagem abaixo de um post sobre a experiência de bate-papo com IA: “Encontrei uma página muito interessante com palavras ilimitadas. com o repórter por mensagem privada O internauta entrou em contato e obteve o link para a página de bate-papo da AI mencionada. Após entrar na página, a página foi preenchida com um grande número de cenários de personagens e cenas de histórias envolvendo conteúdo pornográfico, e o. o conteúdo era direto e explícito. O site exige que os usuários façam login antes de poder conversar com o personagem, e haverá uma mensagem antes de fazer login: “Desbloquear todas as funções após fazer login”. fazer login" para continuar. Se você selecionar "Cancelar", não poderá fazer login e usar o serviço. Embora a página web estabeleça um aviso de restrição para maiores de 18 anos, na verdade, mesmo que um menor clique no botão de login, o sistema não toma nenhuma medida para verificar a verdadeira idade do usuário. Além do conteúdo de bate-papo direto e explícito e da linguagem violenta, o uso de funções de alguns softwares de bate-papo com IA também está intimamente relacionado ao mecanismo de recarga, como recarregar a assinatura VIP ou comprar diamantes virtuais para aumentar a inteligência. , acelerar a velocidade de recuperação do corpo inteligente, desbloquear a função de chamada de voz, etc., atraindo menores para o "ouro criptônio". Xiao Ning, um estudante do ensino médio em Pequim, recarregou quantias que variam de algumas centenas de yuans a milhares de yuans em vários softwares de bate-papo com IA. “Por um lado, quero apoiar meus personagens favoritos e, por outro lado, também quero obter mais direitos pagos porque se você adquirir apenas serviços básicos, os usuários só poderão adicionar 3 agentes se quiserem experimentar novos. agentes, você deve excluir os existentes. Se quiser uma experiência diversificada, você só pode adquirir o serviço VIP avançado", disse Xiao Ning. O repórter descobriu que neste tipo de software de chat de enredo de IA, os usuários podem personalizar a imagem e o estilo do personagem virtual ao criar um personagem, e o sistema irá gerar uma imagem de personagem de IA. Os usuários também podem criar configurações de personagens, como definir apelidos, planos de fundo de identidade, comentários de abertura e personalizar vozes para os personagens. No entanto, as necessidades personalizadas dos usuários em relação aos personagens estão frequentemente vinculadas à recarga. Zhang Yan, residente em Jinan, província de Shandong, tem uma irmã que está na primeira série do ensino médio este ano. Ela costuma usar software de bate-papo com IA e descobriu que algumas ferramentas de bate-papo estabelecem intervalos de uso gratuitos quando os usuários se esgotam. o número de chats gratuitos, eles precisam recarregar antes de continuar. Somente recarregando você poderá desbloquear conteúdos mais interessantes e obter diferentes experiências emocionais. “Por trás de gastar dinheiro para comprar serviços está, na verdade, gastar dinheiro para encontrar emoção.” Zhang Yan disse que, embora o software de bate-papo tenha um modo jovem, ele pode ser conectado e usado sem autenticação de nome real. Minha irmã costuma recarregar e consumir sem a autenticação de nome real. consentimento de seus pais. Membros da indústria disseram aos repórteres que o bate-papo com IA é, na verdade, a linguagem anterior da Internet, com o colete da inteligência artificial. O chamado Yuca é um cosplay de linguagem. Os artistas Yuca prestam serviços na forma de comunicação de texto, interpretando personagens bidimensionais ou ídolos tridimensionais. No modelo de léxico tradicional, os léxicos são interpretados por pessoas reais. Eles geralmente desempenham papéis diferentes para conversar com os usuários sob o lema de "fornecer valor emocional". limites". risco. O bate-papo com IA é uma versão atualizada do apagamento de linguagem tradicional. A principal fonte de dados de grandes modelos de linguagem por trás desse tipo de software são romances de conversação ou alguma extração de texto de romances. Liu Xiaochun, professor associado da Faculdade de Direito da Universidade da Academia Chinesa de Ciências Sociais e diretor do Centro de Pesquisa Jurídica da Internet, acredita que no software de bate-papo com IA, mesmo que o modo jovem não esteja ativado, ainda haverá problemas se aparece conteúdo pornográfico ou violento; se o modo menores estiver ativado, o problema é mais sério. Zhang Yanlai, diretor do escritório de advocacia Zhejiang Kenting, que atua como consultor jurídico perene de dezenas de empresas líderes da Internet, analisou que os problemas atuais com o software de bate-papo com IA não apenas ilustram as deficiências da governança interna da plataforma, mas também destacam a importância de mecanismos de supervisão externa. Zhang Yanlai explicou que o software de bate-papo com IA usa tecnologia de modelos grandes. Embora a tecnologia de modelos grandes possa trazer inovação e flexibilidade sem precedentes, ela também pode ser acompanhada por imprevisibilidade e problemas potenciais na geração de conteúdo, exigindo mecanismos regulatórios externos. Na opinião de Liu Xiaochun, fortalecer a revisão de conteúdo é uma etapa necessária antes que o grande modelo de linguagem fique online, abrangendo a depuração abrangente de conformidade, desde o treinamento de dados front-end até a produção de conteúdo. Atualmente, os grandes modelos linguísticos do meu país precisam ser avaliados e arquivados em conformidade. Durante este processo, os regulamentos de gestão e os padrões de avaliação serão definidos antecipadamente sobre questões como a legalidade e conformidade do conteúdo produzido e se este é adequado para menores. De acordo com os regulamentos atuais, a produção de conteúdo prejudicial deve ser evitada durante as fases de formação e aperfeiçoamento do modelo linguístico. Supervisão por uma equipe dedicada para interceptação inteligente de informações ruins A Administração do Ciberespaço da China divulgou recentemente as "Diretrizes para a Construção do Modo de Internet Móvel para Menores", que se concentra no plano geral para a construção do modo de menores e incentiva e apoia. terminais móveis inteligentes, aplicações e plataformas de distribuição e outras participações conjuntas. De acordo com Zhu Wei, vice-diretor do Centro de Pesquisa em Direito da Comunicação da Universidade Chinesa de Ciência Política e Direito, as diretrizes acima mencionadas apontam claramente que o modo de menores não é uma decoração, mas requer ligação multipartidária, especialmente gerada por IA conteúdo, que deve ser consistente com o modo jovem. Os especialistas entrevistados acreditam que, no modo jovem, é uma questão importante como fortalecer o mecanismo de revisão de conteúdo e garantir que a tecnologia possa efetivamente filtrar informações prejudiciais. Para software de bate-papo com IA, especialmente seu modo jovem, o mecanismo de revisão de conteúdo deve ser fortalecido para garantir que a tecnologia possa filtrar e bloquear com eficácia conversas inadequadas. Além disso, as plataformas precisam de realizar uma revisão ética dos modelos de IA para garantir que o conteúdo que geram cumpre os requisitos legais e regulamentares. “A nível legal, embora existam alguns regulamentos de princípios que fornecem um enquadramento geral, em operações práticas específicas, os promotores e prestadores de serviços técnicos ainda precisam de acumular continuamente materiais e soluções com base em vários problemas encontrados na vida real. desenvolver um modelo de IA seguro e confiável que realmente atenda às necessidades dos menores "Isso fornece uma forte garantia para o crescimento saudável dos menores." Zhang Yanlai disse que, uma vez que o comportamento dos seres humanos virtuais de IA é o resultado do design e gerenciamento da plataforma, a plataforma tem a responsabilidade de supervisionar e otimizar seu modelo de IA para evitar que a IA se espalhe. que afetam os utilizadores. Causar danos e garantir o desenvolvimento saudável dos modelos de IA e a proteção total dos direitos dos utilizadores. Zhu Wei mencionou que alguns aplicativos de bate-papo de IA podem não ser adequados para uso por menores, portanto, restrições devem ser impostas na loja de distribuição e nos terminais móveis para garantir que menores não possam baixar e usar esses aplicativos. Para aplicativos baixados, os pais devem definir recursos como o modo juvenil ou limitar o tempo de uso. Esse modo não só precisa ser implementado no lado do usuário, mas também deve ser refletido no nível de saída do conteúdo, ou seja, na revisão do conteúdo. . A revisão do conteúdo deve ser baseada no diálogo gerado pelo mecanismo do algoritmo. São necessários meios técnicos e medidas de gestão mais sofisticados para garantir a implementação eficaz do modelo de juventude. "Para evitar a produção de conteúdos violentos e insultuosos, podem ser adoptados diferentes meios técnicos, tais como ajustes durante a fase de formação para permitir que o próprio modelo tenha capacidades de reconhecimento; ao mesmo tempo, no final da produção, os prestadores de serviços devem tela e revisão novamente para obter proteção dupla de front-end e back-end "Liu Xiaochun disse que, sejam romances on-line ou outro conteúdo, devido à ampla gama de fontes de dados para software de bate-papo de IA, são necessários meios técnicos para evitar. a saída de conteúdo impróprio. Atualmente, é tecnicamente possível utilizar mecanismos de triagem para reduzir ou eliminar a produção de conteúdos pornográficos, violentos ou insultuosos. No entanto, pode haver alguns fenómenos que não são totalmente depurados ou testados, e pode até haver software não registado no azul. e campos cinzentos A este respeito, a supervisão deve ser reforçada, o público deve ser encorajado a denunciar e as autoridades relevantes devem investigar e lidar com o assunto. Zhang Yanlai também mencionou que, atualmente, a classificação das fontes de dados para o conteúdo de resposta de caracteres de IA não é clara a nível jurídico, especialmente em termos de conteúdo direcionado a menores. Tendo em conta a complexidade e a multidimensionalidade da questão, as disposições legais muitas vezes fornecem. Diretrizes específicas podem ser implementadas posteriormente através da formulação de padrões relevantes. No nível operacional específico, Zhang Yanlai sugeriu otimizar o mecanismo de triagem de grandes modelos de linguagem, com foco na otimização do sistema de barreira de conteúdo, a partir de dois aspectos: No nível de desenvolvimento de barreira de conteúdo, as barreiras de conteúdo precisam ser desenvolvidas de maneira direcionada, especialmente ao usar novos corpus para treinamento, considere como otimizar o conteúdo para identificar e interceptar de forma mais eficaz conteúdo potencialmente pornográfico e violento, não importa o quão otimizado seja, a tecnologia em si ainda tem limitações e haverá peixes que escaparão da rede; a equipe é obrigada a supervisionar e ajustar o modelo em tempo hábil. Ou algoritmos de proteção de conteúdo. "Para melhorar a eficiência do sistema de cercas, precisamos trabalhar duro no nível de desenvolvimento de antemão e melhorá-lo constantemente na perspectiva da revisão posterior. Os dois se complementam e podem alcançar resultados mais significativos."
A supervisão do software AI plot chat é urgente. O governo, as plataformas, os pais e todos os setores da sociedade precisam de trabalhar em conjunto para reforçar a supervisão, melhorar os mecanismos e proteger conjuntamente o crescimento saudável dos menores. Somente através da colaboração de várias partes podemos resolver efetivamente os riscos trazidos pelo software de bate-papo com IA e criar um ambiente online seguro e saudável para as crianças.