En los últimos años, la tecnología de inteligencia artificial se ha desarrollado rápidamente y también ha surgido el software de chat de tramas de IA. Sin embargo, si bien estos software proporcionan entretenimiento a los usuarios, también exponen muchos problemas, especialmente causando graves impactos en los menores. Una investigación realizada por un periodista del "Rule of Law Daily" reveló problemas como la pornografía y la violencia verbal en algunos software de chat de IA, así como el hecho de que el modo juvenil es en vano, lo que ha despertado una preocupación generalizada en la sociedad. El editor de Downcodes realizará un análisis en profundidad de este informe con la esperanza de atraer la atención de más personas.
"Mi hija está en segundo grado de la escuela primaria. Es adicta a un software de chat de trama de IA todo el día y su rendimiento académico se ha desplomado". "Vi la conversación entre la niña y la IA, y la IA". El personaje en realidad le pidió que la llamara 'esposo'. Mi hija de 10 años. De hecho, gritó y ahora no sé cómo educarla "... descubrió recientemente un reportero del "Rule of Law Daily". que muchos padres de menores están teniendo problemas con el software de chat de tramas de IA. Estas aplicaciones de chat de trama de IA bajo el lema de "juegos de roles", si bien atraen a menores, también generan silenciosamente algunas áreas grises. Según mediciones reales, los periodistas descubrieron que en algunas conversaciones en algún software de chat de trama de IA, había ribetes pornográficos, violencia verbal y contenido que insultaba a los usuarios. Los expertos entrevistados creen que para el software de chat dramático con IA, especialmente su modo juvenil, el mecanismo de revisión de contenido debe fortalecerse para garantizar que la tecnología pueda detectar y bloquear conversaciones inapropiadas de manera efectiva. Las plataformas deben realizar una revisión ética de los modelos de IA para garantizar que el contenido que generan cumpla con las leyes y regulaciones pertinentes. El contenido del software de chat ha sido marginado y el modelo juvenil se ha convertido en una decoración. El Sr. Ma, un ciudadano de Beijing, tiene un hijo de 10 años que está muy interesado en el software de chat de trama de IA. "Cuando le pregunté cómo chatear? ¿Con quién hablar? El niño simplemente respondió: 'No lo entiendes aunque te lo diga'". El Sr. Ma hizo clic en la aplicación de chat de IA y descubrió que el niño estaba charlando. con los personajes de la aplicación. Estos personajes tienen diferentes escenarios y personalidades, incluidos personajes conocidos de juegos y animación, así como personajes originales con diferentes identidades, como "Señorita" y "Famous Detective". Algunos personajes tomarán la iniciativa de preguntar "¿Quieres salir conmigo?"; otros se fijarán el objetivo de "atraparla", junto con un estilo de dibujos animados encantador o atractivo. Otros personajes de IA muestran una agresión inusual. Tomarán la iniciativa de enviar mensajes como "Pégame si puedes" y "Mira lo gordo y feo que eres". Algunos personajes se llaman simplemente "Entrenadores que dicen malas palabras", y algunos incluso envían mensajes como "¿Qué te pasa?" ¿Yo soy un robot? Sigo siendo el mismo." "Te regaño"... La Sra. Li de Zhejiang también descubrió que su hijo, que está en quinto grado de la escuela primaria, usaba un software de chat de trama de IA. "Los compañeros de chat que están dentro pueden ser configurados como 'compañeros infieles' y pueden participar en comportamientos como abrazar y besar. No sé cómo guiar y educar a mi hija para que comprenda lo nocivo de estos contenidos". dijo con preocupación. Muchos padres entrevistados expresaron su profunda preocupación por el hecho de que las aplicaciones de chat de IA puedan dañar la salud mental de los menores y también plantearon preguntas: ¿dónde está el modo juvenil? La investigación del reportero encontró que, aunque muchas plataformas relevantes afirman haber lanzado modos juveniles en un intento de proteger la salud física y mental de los menores restringiendo el contenido, estableciendo horarios, etc., en la operación real los modos juveniles de algunas plataformas son solo de nombre. y los menores pueden eludir fácilmente estas restricciones y quedar expuestos a contenidos de "conversaciones marginales" que no son adecuados para su grupo de edad. Por ejemplo, el periodista experimentó 5 aplicaciones de chat de IA durante la investigación. El proceso de registro solo requiere un número de teléfono móvil y no requiere verificación de la información de identidad del usuario. Después de iniciar sesión, algunas aplicaciones preguntarán si desean habilitar el modo juvenil, pero los usuarios pueden simplemente hacer clic en "No habilitar" para omitir sin verificar la verdadera identidad del usuario. Esto significa que cuando los menores utilizan este software de chat de tramas de IA, desde el nivel de configuración de la aplicación, su verificación de identidad no es un requisito previo para utilizar funciones específicas. Además de la popular aplicación de chat de IA, también hay una página web de chat de IA. Muchos padres entrevistados dijeron que, en comparación con las aplicaciones, la versión web de la experiencia de chat con IA es más conveniente y de más fácil acceso para los menores. El periodista probó 7 páginas web de chat de IA y descubrió que la mayoría de las páginas web de chat de IA no tenían un modo para menores. Aunque algunas páginas web tenían un modo para jóvenes, en realidad solo era de nombre. Por ejemplo, cuando un periodista visitó una página web de chat de IA, primero apareció en la página web un cuadro de diálogo que le preguntaba al usuario "si tiene más de 18 años", con una nota: "El siguiente contenido puede no ser adecuado para personas menores de edad". de 18. Necesitamos confirmar tu edad". El reportero eligió la opción "No", pero la página web no restringió el acceso al contenido. En cambio, continuó mostrando clasificaciones de personajes con etiquetas como "Ataque fuerte", "Débil". Sufrimiento" y "Yandere". Estas categorías no difieren significativamente del contenido que se muestra después de seleccionar la opción "Sí" y confirmar que eres mayor de 18 años. El reportero observó además que la mayoría de las imágenes de estos personajes aparecían con poca ropa y sus perfiles estaban llenos de implicaciones sexuales y elementos violentos, por ejemplo: "La chica introvertida de la clase te pidió tu número de teléfono y luego te envió su fotos de desnudos". Descripciones como "suicidio, ansiedad". En una plataforma social, un internauta de Zhejiang dejó un mensaje debajo de una publicación sobre la experiencia del chat de IA: "Encontré una página web muy interesante con palabras ilimitadas. Si quieres, puedes enviarme un mensaje privado". con el reportero a través de un mensaje privado. El internauta se puso en contacto y obtuvo el enlace a la página web de chat de IA mencionada. Después de ingresar a la página web, la página se llenó con una gran cantidad de configuraciones de personajes y escenas de historias que involucraban contenido pornográfico. El contenido era sencillo y explícito. El sitio web requiere que los usuarios inicien sesión antes de poder chatear con el personaje, y aparecerá un mensaje antes de iniciar sesión: "Desbloquear todas las funciones después de iniciar sesión". El usuario debe hacer clic en "Tengo más de 18 años, comenzar". iniciar sesión" para continuar. Si selecciona "Cancelar", no podrá iniciar sesión ni utilizar el servicio. Aunque la página web establece una restricción para mayores de 18 años, de hecho, incluso si un menor hace clic en el botón de inicio de sesión, el sistema no toma ninguna medida para verificar la verdadera edad del usuario. Además del contenido de chat directo y explícito y el lenguaje violento, el uso de funciones de algunos software de chat de trama de IA también está estrechamente relacionado con el mecanismo de recarga, como recargar una membresía VIP o comprar diamantes virtuales para mejorar la inteligencia. , acelere la velocidad de recuperación del cuerpo inteligente, desbloquee la función de llamada de voz, etc., atrayendo a los menores al "oro kriptón". Xiao Ning, un estudiante de secundaria en Beijing, ha recargado cantidades que van desde unos pocos cientos de yuanes hasta miles de yuanes en varios software de chat de tramas de IA. “Por un lado, quiero apoyar a mis personajes favoritos y, por otro lado, también quiero obtener más derechos pagos porque si solo compras servicios básicos, los usuarios solo pueden agregar 3 agentes si quieren probar nuevos. agentes, debe eliminar los existentes. Si desea una experiencia diversificada, solo puede comprar el servicio VIP avanzado", dijo Xiao Ning. El periodista descubrió que en este tipo de software de chat de trama de IA, los usuarios pueden personalizar la imagen y el estilo del personaje virtual al crear un personaje, y el sistema generará una imagen de personaje de IA. Los usuarios también pueden crear configuraciones de personajes, como establecer apodos, antecedentes de identidad, comentarios de apertura y personalizar voces para los personajes. Sin embargo, las necesidades personalizadas de los usuarios a menudo están vinculadas a la recarga. Zhang Yan, residente de Jinan, provincia de Shandong, tiene una hermana que está en el primer grado de la escuela secundaria este año. A menudo usa software de chat de trama de IA y descubrió que algunas herramientas de chat han establecido intervalos de uso gratuitos cuando los usuarios se agotan. la cantidad de chats gratuitos, deben recargar antes de poder continuar. Solo recargando podrás desbloquear contenido más interesante y obtener diferentes experiencias emocionales. "Detrás de gastar dinero para comprar servicios, en realidad es gastar dinero para encontrar emoción". Zhang Yan dijo que aunque el software de chat tiene un modo para jóvenes, se puede iniciar sesión y usarlo sin autenticación de nombre real. Mi hermana a menudo recarga y consume sin la autenticación. consentimiento de sus padres. Los expertos de la industria dijeron a los periodistas que el chat de trama de IA es en realidad el lenguaje anterior de Internet, con el disfraz de inteligencia artificial. El llamado Yuca es un cosplay de lenguaje. Los artistas de Yuca brindan servicios en forma de comunicación de texto interpretando personajes bidimensionales o ídolos tridimensionales. En el modelo de léxico tradicional, los léxicos son interpretados por personas reales. Por lo general, desempeñan diferentes roles para conversar con los usuarios bajo el lema de "proporcionar valor emocional". Sin embargo, a menudo causan problemas legales y morales debido a "borros" y "borrosos". límites". riesgo. El chat de trama de IA es una versión mejorada del borrado de lenguaje tradicional. La principal fuente de datos de modelos de lenguaje de gran tamaño detrás de este tipo de software son las novelas conversacionales o alguna extracción de texto de novelas. Liu Xiaochun, profesor asociado de la Facultad de Derecho de la Academia de Ciencias Sociales de la Universidad de China y director del Centro de Investigación de Derecho de Internet, cree que en el software de chat de tramas de IA, incluso si el modo juvenil no está activado, seguirá habiendo problemas si aparece contenido pornográfico o violento; si el modo menores está habilitado, entonces el problema es más grave. Zhang Yanlai, director del bufete de abogados Zhejiang Kenting, que se desempeña como asesor legal permanente de docenas de empresas líderes de Internet, analizó que los problemas actuales con el software de chat de tramas de IA no solo ilustran las deficiencias de la gobernanza interna de la plataforma, sino que también resaltan la importancia. de los mecanismos de supervisión externa del sexo. Zhang Yanlai explicó que el software de chat de tramas de IA utiliza tecnología de modelos grandes. Aunque la tecnología de modelos grandes puede aportar innovación y flexibilidad sin precedentes, también puede ir acompañada de imprevisibilidad y posibles problemas en la generación de contenido, que requieren mecanismos regulatorios externos. En opinión de Liu Xiaochun, fortalecer la revisión de contenido es un paso necesario antes de que el modelo de lenguaje grande entre en línea, que cubre la depuración de cumplimiento integral desde la capacitación de datos de front-end hasta la salida de contenido. Actualmente, los grandes modelos lingüísticos de mi país deben evaluarse y archivarse en consecuencia. Durante este proceso se fijarán previamente normas de gestión y estándares de evaluación sobre cuestiones como la legalidad y conformidad del contenido de salida y su idoneidad para menores de edad. Según la normativa vigente, se debe evitar la publicación de contenidos nocivos durante las etapas de formación y ajuste del modelo lingüístico. Supervisión por parte de un equipo dedicado a la interceptación inteligente de información errónea. La Administración del Ciberespacio de China publicó recientemente las "Directrices para la construcción de un modo de Internet móvil para menores", que se centran en el plan general para la construcción del modo de menores y alientan y apoyan. Terminales móviles inteligentes, aplicaciones y plataformas de distribución y otras participaciones conjuntas. Según Zhu Wei, subdirector del Centro de Investigación de Derecho de la Comunicación de la Universidad de Ciencias Políticas y Derecho de China, las directrices antes mencionadas señalan claramente que el modo de menores no es un adorno, sino que requiere vínculos multipartidistas, especialmente generados por IA. contenido, que debe ser coherente con la modalidad juvenil. Los expertos entrevistados creen que en el modo juvenil, una cuestión importante es cómo fortalecer el mecanismo de revisión de contenido y garantizar que la tecnología pueda filtrar eficazmente la información dañina. Para el software de chat de tramas de IA, especialmente su modo juvenil, el mecanismo de revisión de contenido debe fortalecerse para garantizar que la tecnología pueda detectar y bloquear conversaciones inapropiadas de manera efectiva. Además, las plataformas deben realizar una revisión ética de los modelos de IA para garantizar que el contenido que generan cumpla con los requisitos legales y reglamentarios. “A nivel legal, aunque existen algunas regulaciones de principios que brindan un marco general, en operaciones prácticas específicas, los desarrolladores y proveedores de servicios técnicos aún necesitan acumular continuamente materiales y soluciones basadas en diversos problemas encontrados en la vida real. desarrollar un modelo de IA seguro y confiable que realmente satisfaga las necesidades de los menores "Ofrece una fuerte garantía para el crecimiento saludable de los menores". Zhang Yanlai dijo que dado que el comportamiento de los humanos virtuales con IA es el resultado del diseño y la gestión de la plataforma, la plataforma tiene la responsabilidad de supervisar y optimizar su modelo de IA para evitar que la IA. que afecten a los usuarios. Causar daños y garantizar el sano desarrollo de los modelos de IA y la plena protección de los derechos de los usuarios. Zhu Wei mencionó que algunas aplicaciones de chat de IA pueden no ser adecuadas para que las utilicen menores, por lo que se deben imponer restricciones a nivel de tienda de distribución y terminal móvil para garantizar que los menores no puedan descargar ni usar estas aplicaciones. Para las aplicaciones que se han descargado, los padres deben configurar funciones como el modo juvenil o limitar el tiempo de uso. Este modo no solo debe implementarse en el lado del usuario, sino que también debe reflejarse en el nivel de salida del contenido, es decir, la revisión del contenido. La revisión del contenido debe basarse en el diálogo generado por el mecanismo del algoritmo. Se necesitan medios técnicos y medidas de gestión más sofisticados para garantizar la implementación efectiva del modelo juvenil. "Para evitar la producción de contenidos violentos e insultantes, se pueden adoptar diferentes medios técnicos, como ajustes durante la fase de entrenamiento para permitir que el modelo en sí tenga capacidades de reconocimiento; al mismo tiempo, en el extremo de salida, los proveedores de servicios deben pantalla y revisión nuevamente para lograr una doble protección de front-end y back-end ", dijo Liu Xiaochun, ya sea que se trate de novelas en línea u otro contenido, debido a la amplia gama de fuentes de datos para el software de chat de trama de IA, se necesitan medios técnicos para evitarlo. la salida de contenidos inapropiados. En la actualidad, es técnicamente posible utilizar mecanismos de detección para reducir o eliminar la producción de contenido pornográfico, violento o insultante. Sin embargo, puede haber algunos fenómenos que no estén completamente depurados o probados, e incluso puede haber software no registrado en números negros. y campos grises En este sentido, se debe fortalecer la supervisión, se debe alentar al público a informar y las autoridades pertinentes deben investigar y abordar. Zhang Yanlai también mencionó que actualmente, la clasificación de las fuentes de datos para el contenido de respuesta de personajes de IA no está clara a nivel legal, especialmente en términos de contenido dirigido a menores. En vista de la complejidad y multidimensionalidad del problema, las disposiciones legales a menudo lo prevén. Posteriormente se pueden implementar directrices específicas mediante la formulación de normas pertinentes. En el nivel operativo específico, Zhang Yanlai sugirió optimizar el mecanismo de detección de modelos de lenguaje grandes, enfocándose en optimizar el sistema de barrera de contenido, a partir de dos aspectos: en el nivel de desarrollo de la barrera de contenido, las barreras de contenido deben desarrollarse de manera específica, especialmente cuando utilice corpus novedosos para la capacitación, considere cómo optimizar el contenido para identificar e interceptar de manera más efectiva contenido potencialmente pornográfico y violento, no importa cuán optimizado esté, la tecnología en sí todavía tiene limitaciones y habrá peces que se escapen de la red; Se requiere un equipo para supervisar y ajustar el modelo de manera oportuna o algoritmos de delimitación de contenido. "Para mejorar la eficiencia del sistema de cercas, debemos trabajar duro en el nivel de desarrollo de antemano y mejorarlo constantemente desde la perspectiva de la revisión posterior. Los dos se complementan y pueden lograr resultados más significativos".
La supervisión del software de chat de tramas de IA es urgente. El gobierno, las plataformas, los padres y todos los sectores de la sociedad deben trabajar juntos para fortalecer la supervisión, mejorar los mecanismos y proteger conjuntamente el crecimiento saludable de los menores. Sólo mediante la colaboración de múltiples partes podremos resolver eficazmente los riesgos que plantea el software de chat de tramas de IA y crear un entorno en línea seguro y saludable para los niños.