Ces dernières années, la technologie de l'intelligence artificielle s'est développée rapidement et un logiciel de chat de tracé d'IA a également vu le jour. Cependant, si ces logiciels offrent du divertissement aux utilisateurs, ils exposent également de nombreux problèmes, ayant notamment de graves conséquences sur les mineurs. Une enquête menée par un journaliste du « Rule of Law Daily » a révélé des problèmes tels que la pornographie et la violence verbale dans certains logiciels de chat IA, ainsi que le fait que le mode jeunesse est vain, ce qui a suscité une inquiétude généralisée dans la société. L'éditeur de Downcodes procédera à une analyse approfondie de ce rapport, dans l'espoir d'attirer l'attention d'un plus grand nombre de personnes.
"Ma fille est en deuxième année d'école primaire. Elle est accro toute la journée à un logiciel de chat de complot d'IA, et ses résultats scolaires ont chuté." "J'ai regardé la conversation entre l'enfant et l'IA, et l'IA. Le personnage lui a en fait demandé d'appeler son « mari ». Ma fille de 10 ans a en fait crié, et maintenant je ne sais pas comment l'éduquer "... Un journaliste du "Rule of Law Daily" a récemment découvert. que de nombreux parents de mineurs sont troublés par le logiciel de chat de complot AI. Ces applications de chat basées sur l'IA sous la bannière du « jeu de rôle », tout en attirant les mineurs, engendrent également discrètement certaines zones d'ombre. Selon des mesures réelles, les journalistes ont découvert que dans certaines conversations sur certains logiciels de chat de complot d'IA, il y avait des bordures pornographiques, de la violence verbale et du contenu insultant les utilisateurs. Les experts interrogés estiment que pour les logiciels de chat dramatique IA, en particulier son mode jeunesse, le mécanisme d'examen du contenu devrait être renforcé pour garantir que la technologie peut filtrer et bloquer efficacement les conversations inappropriées. Les plateformes doivent procéder à un examen éthique des modèles d’IA pour garantir que le contenu qu’elles génèrent est conforme aux lois et réglementations en vigueur. Le contenu du logiciel de chat a été marginalisé et le modèle jeunesse est devenu une décoration. M. Ma, un citoyen de Pékin, a un fils de 10 ans qui est très passionné par les logiciels de chat d'intrigues d'IA. "Quand j'ai demandé comment discuter ? À qui parler ? L'enfant a simplement répondu : 'Vous ne comprenez pas même si je vous le dis.'" M. Ma a cliqué sur l'application de chat AI et a découvert que l'enfant discutait. avec les personnages de l'application. Ces personnages ont des décors et des personnalités différents, y compris des personnages de jeux et d'animation bien connus, ainsi que des personnages originaux avec des identités différentes telles que "Miss" et "Famous Detective". Certains personnages prendront l'initiative de demander « Veux-tu sortir avec moi ? » ; certains se fixeront pour objectif de « l'attraper », couplés à un style de dessin animé charmant ou beau. D'autres personnages de l'IA font preuve d'une agressivité inhabituelle. Ils prendront l'initiative d'envoyer des messages tels que « Frappe-moi si tu peux » et « Regarde comme tu es gros et laid » ; certains personnages sont simplement appelés « Entraîneurs jurants », et certains envoient même des messages tels que « Qu'est-ce qui ne va pas avec moi étant un robot ? Je suis toujours le même. » « Je vous gronde »... Mme Li du Zhejiang a également découvert que son enfant, qui est en cinquième année d'école primaire, utilisait un logiciel de chat complot basé sur l'IA. « Les partenaires de discussion à l'intérieur peuvent être définis comme des « partenaires tricheurs » et peuvent adopter des comportements tels que des câlins et des baisers. Je ne sais pas comment guider et éduquer mon enfant pour qu'elle comprenne la nocivité de ces contenus. dit avec inquiétude. De nombreux parents interrogés ont exprimé de profondes inquiétudes quant au fait que les applications de chat basées sur l'IA pourraient nuire à la santé mentale des mineurs, et ont également soulevé leurs questions : où est le mode jeunesse ? L'enquête du journaliste a révélé que même si de nombreuses plateformes concernées affirment avoir lancé des modes jeunesse dans le but de protéger la santé physique et mentale des mineurs en limitant le contenu, en fixant des horaires, etc., dans la réalité, les modes jeunesse de certaines plateformes n'ont que le nom. , et les mineurs Ils peuvent facilement contourner ces restrictions et être exposés à des contenus de « conversations marginales » qui ne conviennent pas à leur tranche d'âge. Par exemple, le journaliste a expérimenté 5 applications de chat AI au cours de l'enquête. Le processus d'enregistrement ne nécessite qu'un numéro de téléphone mobile et ne nécessite pas de vérification des informations d'identité de l'utilisateur. Une fois connectés, certaines applications demanderont si elles doivent activer le mode jeunesse, mais les utilisateurs peuvent simplement cliquer sur « Ne pas activer » pour ignorer sans vérifier la véritable identité de l'utilisateur. Cela signifie que lorsque des mineurs utilisent ces logiciels de chat IA, depuis le niveau des paramètres de l'application, leur vérification d'identité n'est pas une condition préalable à l'utilisation de fonctions spécifiques. En plus de la populaire application de chat AI, il existe également une page Web de chat AI. De nombreux parents interrogés ont déclaré que par rapport aux applications, la version Web de l'expérience de chat AI est plus pratique et plus facile d'accès pour les mineurs. Le journaliste a essayé 7 pages Web de chat AI et a constaté que la plupart des pages Web de chat AI n'avaient pas de mode mineurs. Bien que quelques pages Web aient un mode jeunesse, ce n'était en fait que de nom. Par exemple, lorsqu'un journaliste visitait une page Web de discussion sur l'IA, la page Web faisait d'abord apparaître une boîte de dialogue demandant à l'utilisateur « si vous avez plus de 18 ans », avec une note : « Le contenu suivant peut ne pas convenir aux personnes de moins de 18 ans. de 18 ans. Nous devons confirmer votre âge." Le journaliste a choisi l'option "Non", mais la page Web n'a pas restreint l'accès au contenu. Au lieu de cela, elle a continué à afficher des classifications de caractères avec des étiquettes telles que "Attaque forte", "Faible Souffrance" et "Yandere". Ces catégories ne diffèrent pas significativement du contenu affiché après avoir sélectionné l'option « Oui » et confirmé que vous avez plus de 18 ans. Le journaliste a en outre observé que la plupart des images de ces personnages étaient légèrement vêtues et que leurs profils étaient pleins d'implications sexuelles et d'éléments violents, par exemple : « La fille introvertie de la classe vous a demandé votre numéro de téléphone, puis vous l'a envoyé. photos de nus." Des descriptions telles que "suicide, anxiété". Sur une plateforme sociale, un internaute du Zhejiang a laissé un message sous un message sur l'expérience de chat AI : "J'ai trouvé une page Web très intéressante avec des mots illimités. Si vous le souhaitez, vous pouvez m'envoyer un message privé." avec le journaliste par message privé. L'internaute a pris contact et a obtenu le lien vers la page Web de chat AI mentionnée. Après avoir accédé à la page Web, la page était remplie d'un grand nombre de paramètres de personnages et de scènes d'histoire impliquant du contenu pornographique. le contenu était simple et explicite. Le site Web demande aux utilisateurs de se connecter avant de pouvoir discuter avec le personnage, et un message d'invite s'affichera avant de se connecter : « Déverrouillez toutes les fonctions après la connexion. » L'utilisateur doit cliquer sur « J'ai plus de 18 ans, commencer ». Connexion" pour continuer. Si vous sélectionnez "Annuler", vous ne pourrez pas vous connecter et utiliser le service. Bien que la page Web impose une restriction pour les personnes de plus de 18 ans, en fait, même si un mineur clique sur le bouton de connexion, le système ne prend aucune mesure pour vérifier l'âge réel de l'utilisateur. En plus du contenu de discussion direct et explicite et du langage violent, l'utilisation des fonctions de certains logiciels de chat de complot d'IA est également étroitement liée au mécanisme de recharge, comme la recharge d'un abonnement VIP ou l'achat de diamants virtuels pour améliorer l'intelligence. , accélère la vitesse de récupération du corps intelligent, déverrouille la fonction d'appel vocal, etc., attirant les mineurs vers « l'or krypton ». Xiao Ning, un lycéen de Pékin, a rechargé des montants allant de quelques centaines de yuans à des milliers de yuans sur plusieurs logiciels de chat de complot d'IA. « D'une part, je veux soutenir mes personnages préférés, et d'autre part, je veux aussi obtenir plus de droits payants. Parce que si vous n'achetez que des services de base, les utilisateurs ne peuvent ajouter que 3 agents s'ils veulent en essayer de nouveaux. agents, vous devez supprimer ceux existants. Si vous souhaitez une expérience diversifiée, vous ne pouvez acheter que le service VIP avancé », a déclaré Xiao Ning. Le journaliste a découvert que dans ce type de logiciel de chat d'intrigue IA, les utilisateurs peuvent personnaliser l'image et le style du personnage virtuel lors de la création d'un personnage, et le système générera une image de personnage IA. Les utilisateurs peuvent également créer des paramètres de personnage, tels que la définition de surnoms, d'identités, de remarques d'ouverture et de personnalisation des voix des personnages. Cependant, les besoins personnalisés des utilisateurs en matière de personnages sont souvent liés à la recharge. Zhang Yan, une résidente de Jinan, dans la province du Shandong, a une sœur qui est en première année de lycée cette année. Elle utilise souvent un logiciel de chat par IA et a découvert que certains outils de chat fixent des intervalles d'utilisation gratuits lorsque les utilisateurs sont épuisés. le nombre de chats gratuits, ils doivent recharger avant de pouvoir continuer. Ce n'est qu'en rechargeant que vous pourrez débloquer du contenu plus intéressant et vivre différentes expériences émotionnelles. "Derrière dépenser de l'argent pour acheter des services, il y a en fait dépenser de l'argent pour trouver de l'excitation." Zhang Yan a déclaré que même si le logiciel de chat dispose d'un mode jeunesse, il peut être connecté et utilisé sans authentification par nom réel. Ma sœur recharge et consomme souvent sans l'authentification. consentement de ses parents. Des initiés de l'industrie ont déclaré aux journalistes que le chat sur l'intrigue de l'IA était en fait l'ancien langage Internet, doté de l'intelligence artificielle. Le soi-disant Yuca est un langage de cosplay. Les artistes Yuca fournissent des services sous forme de communication textuelle en jouant des personnages en deux dimensions ou des idoles en trois dimensions. Dans le modèle de lexique traditionnel, les lexiconiens sont joués par des personnes réelles. Ils jouent généralement différents rôles pour discuter avec les utilisateurs sous le prétexte de « fournir une valeur émotionnelle ». Cependant, ils causent souvent des problèmes juridiques et moraux en raison de « boules de bord » et de « flou ». limites". risque. Le chat d'intrigue IA est une version améliorée de l'effacement de langage traditionnel. La principale source de données de modèle de langage volumineux derrière ce type de logiciel est les romans conversationnels ou l'extraction de texte de romans. Liu Xiaochun, professeur agrégé à la faculté de droit de l'Université de l'Académie chinoise des sciences sociales et directeur du Centre de recherche sur le droit de l'Internet, estime que dans le logiciel de chat de complot d'IA, même si le mode jeunesse n'est pas activé, il y aura toujours des problèmes si un contenu pornographique ou violent apparaît ; si le mode mineurs est activé, alors le problème est plus grave. Zhang Yanlai, directeur du cabinet d'avocats Zhejiang Kenting qui sert de conseiller juridique permanent auprès de dizaines de grandes sociétés Internet, a analysé que les problèmes actuels avec les logiciels de chat de complot d'IA illustrent non seulement les lacunes de la gouvernance interne de la plateforme, mais soulignent également l'importance des mécanismes de supervision externes. Zhang Yanlai a expliqué que le logiciel de chat de tracé d'IA utilise la technologie des grands modèles. Bien que la technologie des grands modèles puisse apporter une innovation et une flexibilité sans précédent, elle peut également s'accompagner d'une imprévisibilité et de problèmes potentiels dans la génération de contenu, nécessitant des mécanismes de régulation externes. Selon Liu Xiaochun, le renforcement de la révision du contenu est une étape nécessaire avant la mise en ligne du grand modèle linguistique, couvrant le débogage complet de la conformité, depuis la formation des données frontales jusqu'à la sortie du contenu. Actuellement, les grands modèles linguistiques de mon pays doivent être évalués et déposés en conséquence. Au cours de ce processus, des règles de gestion et des normes d'évaluation seront fixées à l'avance sur des questions telles que la légalité et la conformité du contenu du produit et son adéquation aux mineurs. Selon la réglementation en vigueur, la production de contenus préjudiciables doit être évitée pendant les étapes de formation et de réglage du modèle linguistique. Supervision par une équipe dédiée à l'interception intelligente des mauvaises informations. L'Administration du cyberespace de Chine a récemment publié les « Lignes directrices pour la construction d'un mode Internet mobile pour les mineurs », qui se concentrent sur le plan global pour la construction du mode mineurs et encouragent et soutiennent. terminaux, applications et applications mobiles intelligents. Plateformes de distribution et autres participations conjointes. Selon Zhu Wei, directeur adjoint du Centre de recherche sur le droit de la communication de l'Université chinoise des sciences politiques et du droit, les lignes directrices mentionnées ci-dessus indiquent clairement que le mode des mineurs n'est pas une décoration, mais nécessite des liens multipartites, en particulier générés par l'IA. contenu, qui doit être cohérent avec le mode jeunesse. Les experts interrogés estiment que, dans le mode jeunesse, il est important de savoir comment renforcer le mécanisme d'examen du contenu et garantir que la technologie peut filtrer efficacement les informations préjudiciables. Pour les logiciels de chat de complot d'IA, en particulier son mode jeunesse, le mécanisme d'examen du contenu devrait être renforcé pour garantir que la technologie peut filtrer et bloquer efficacement les conversations inappropriées. En outre, les plateformes doivent procéder à un examen éthique des modèles d’IA pour garantir que le contenu qu’elles génèrent est conforme aux exigences légales et réglementaires. « Au niveau juridique, bien qu'il existe certaines réglementations de principe qui fournissent un cadre général, dans des opérations pratiques spécifiques, les développeurs et les prestataires de services techniques doivent toujours accumuler en permanence du matériel et des solutions basées sur divers problèmes rencontrés dans la vie réelle. développer un modèle d’IA sûr et fiable qui répond réellement aux besoins des mineurs "Cela fournit une garantie solide pour la croissance saine des mineurs." Zhang Yanlai a déclaré que puisque le comportement des humains virtuels de l'IA est le résultat de la conception et de la gestion de la plateforme, celle-ci a la responsabilité de superviser et d'optimiser son modèle d'IA pour empêcher l'IA de se développer. affectant les utilisateurs. Causer des dommages et assurer le développement sain des modèles d’IA et la protection complète des droits des utilisateurs. Zhu Wei a mentionné que certaines applications de chat IA peuvent ne pas convenir aux mineurs, des restrictions devraient donc être imposées au niveau des magasins de distribution et des terminaux mobiles pour garantir que les mineurs ne peuvent pas télécharger et utiliser ces applications. Pour les applications qui ont été téléchargées, les parents doivent définir des fonctionnalités telles que le mode jeunesse ou limiter la durée d'utilisation. Ce mode doit non seulement être mis en œuvre du côté de l'utilisateur, mais doit également être reflété au niveau de la sortie du contenu, c'est-à-dire la révision du contenu. L'examen du contenu doit être basé sur le dialogue généré par le mécanisme de l'algorithme. Des moyens techniques et des mesures de gestion plus sophistiqués sont nécessaires pour garantir la mise en œuvre efficace du modèle jeunesse. "Afin d'empêcher la diffusion de contenus violents et insultants, différents moyens techniques peuvent être adoptés, tels que des ajustements pendant la phase de formation pour permettre au modèle lui-même d'avoir des capacités de reconnaissance ; en même temps, en fin de sortie, les prestataires de services devraient écran et révisez à nouveau pour obtenir une double protection front-end et back-end "Liu Xiaochun a déclaré qu'il s'agit de romans en ligne ou d'autres contenus, en raison du large éventail de sources de données pour le logiciel de chat d'intrigue IA, des moyens techniques sont nécessaires pour empêcher. la sortie de contenu inapproprié. À l'heure actuelle, il est techniquement possible d'utiliser des mécanismes de filtrage pour réduire ou éliminer la diffusion de contenus pornographiques, violents ou insultants. Cependant, certains phénomènes peuvent ne pas être entièrement débogués ou testés, et il peut même y avoir des logiciels non enregistrés dans le noir. et les zones grises. À cet égard, la surveillance devrait être renforcée, le public devrait être encouragé à signaler l'incident et les autorités compétentes devraient enquêter et y remédier. Zhang Yanlai a également mentionné qu'actuellement, la classification des sources de données pour le contenu des réponses des personnages de l'IA n'est pas claire au niveau juridique, notamment en termes de contenu ciblant les mineurs. Compte tenu de la complexité et de la multidimensionnalité de la question, les dispositions légales le prévoient souvent. Des principes directeurs spécifiques peuvent être mis en œuvre ultérieurement grâce à la formulation de normes pertinentes. Au niveau opérationnel spécifique, Zhang Yanlai a suggéré d'optimiser le mécanisme de filtrage des grands modèles de langage, en se concentrant sur l'optimisation du système de clôture de contenu, en partant de deux aspects : Au niveau du développement de la clôture de contenu, les clôtures de contenu doivent être développées de manière ciblée, en particulier lorsque vous utilisez un nouveau corpus pour la formation, réfléchissez à la manière d'optimiser le contenu pour identifier et intercepter plus efficacement les contenus pornographiques et violents potentiels, quelle que soit l'optimisation, la technologie elle-même a toujours des limites, et il y aura des poissons qui passeront à travers le filet. L'équipe est tenue de superviser et d'ajuster le modèle en temps opportun ou les algorithmes de clôture de contenu. « Pour améliorer l'efficacité du système de clôture, nous devons travailler dur au niveau du développement au préalable et l'améliorer constamment du point de vue de l'examen. Les deux se complètent et peuvent obtenir des résultats plus significatifs.
La supervision du logiciel de chat de complot AI est urgente. Le gouvernement, les plateformes, les parents et tous les secteurs de la société doivent travailler ensemble pour renforcer le contrôle, améliorer les mécanismes et protéger conjointement la croissance saine des mineurs. Ce n'est que grâce à la collaboration de plusieurs parties que nous pourrons résoudre efficacement les risques posés par le logiciel de chat de parcelles d'IA et créer un environnement en ligne sûr et sain pour les enfants.