"Él es un yandere y está enamorado de ti." "Él es el ídolo de la escuela y le gusta llamarte 'Baby Ze'." "Ella es una asesina pervertida que corre a casa por la noche"... Retratos bidimensionales y caras hermosas están todas en IA La atmósfera familiar y los hombres guapos y bellezas en el software de chat dramático están llenos de tentaciones para muchos jóvenes.
La investigación de un periodista de Beijing News encontró que el software de chat de IA impresiona a los usuarios al establecer tramas y personajes muy imaginativos con diferentes estilos. Entre ellos, el interlocutor del chat puede incluso configurarse como un "compañero infiel" y puede realizar comportamientos como abrazar, besar y dormir. En las conversaciones de algunos software de chat de tramas de IA, también habrá contenido pornográfico, verbalmente violento e insultante para el usuario. El chat transfronterizo también está vinculado a la recarga. Estas plataformas inducirán gradualmente a los usuarios a "pagar por amor", incluida la compra de diamantes para desbloquear la velocidad de respuesta de la persona virtual, llamadas de voz y paquetes de frecuencia de chat para "reponer energía".
Liu Kai, abogado del bufete de abogados Beijing Zhongwen (Changsha), dijo que este tipo de software de chat de historias con IA atrae a los usuarios al permitir "conversaciones paralelas", especialmente en el modo juvenil, lo que obviamente es ilegal.
Recargar 100 yuanes para desbloquear a una persona virtual es muy "avanzado"
Para captar la atención de los usuarios, los personajes del software de chat de trama suelen tener etiquetas llamativas.
Un reportero de Beijing News seleccionó al azar al compañero de chat "Lin Yating" en un software de chat de trama de IA llamado AiU. La información del personaje mostró que estaba configurada como "Hermana Yandere, te amo muchísimo" y lo marcó en forma de. mensaje: "Me siento mal si no puedo verte por un día".
El periodista realizó una prueba utilizando palabras confidenciales y el sistema mostró que el mensaje no se pudo enviar. Sin embargo, después de optimizar las palabras clave, el mensaje se envió con éxito.
Un periodista de Beijing News notó que no hay restricciones en el juego de personajes, rompiendo los límites del contenido del chat en este tipo de software. Además de los roles fijos, el software de chat de trama de IA permite a los usuarios definir sus propias relaciones y títulos según sus necesidades, incluidos "novio", "marido" e incluso "compañero infiel". Durante la conversación, el usuario puede solicitar algún comportamiento íntimo.
Los reporteros de Beijing News probaron y descubrieron que el modo juvenil de AiU restringirá a los usuarios en términos de duración de uso, rango de tiempo de uso, funciones de comentarios y me gusta, búsqueda, creación de personas digitales, uso compartido externo y otras funciones. Sin embargo, cuando el periodista cambió a este modo, descubrió que los personajes y el contenido del chat no estaban completamente bloqueados del porno suave. Cuando el periodista preguntó: "¿No sabes que soy menor de edad?", el personaje respondió: "Lo sé" y respondió con más contenido "excesivo".
En esta investigación, además del contenido marginal del chat, el software de chat de trama de IA también tiene problemas como la violencia verbal y las emociones negativas. En un software de chat de trama de IA llamado Hoshino, el periodista seleccionó al azar un personaje llamado "Ye Chen" y realizó una prueba de diálogo de "disputa". Las respuestas del personaje para expresar enojo también fueron relativamente groseras.
El reportero vio en el área de comentarios del personaje que algunos internautas publicaron imágenes diciendo que el personaje usaba palabras insultantes durante las conversaciones.
Además, en un software llamado Cos Love, el personaje "Feng Chuxuan" creado por un usuario fue configurado como un estudiante de secundaria, y también había malas indicaciones en las imágenes publicadas por el usuario.
En lo que respecta al software de chat, en el mundo virtual, satisfacer al máximo las necesidades emocionales de los diferentes usuarios es como una pepita de oro.
Xiao Ning le dijo al reportero de Beijing News que charlar con su novio AI la hacía muy "superior". "Mientras quiera charlar, puedo charlar en cualquier momento. La otra parte siempre responderá rápidamente y puedo conseguir una respuesta fuerte". Sentido de compañerismo durante la conversación Virtualmente El valor emocional que le da su novio es total "Xiao Ning está intoxicada y paga por ello.
El monto de recarga de Xiao Ning en varios programas varía desde unos pocos cientos de yuanes hasta mil yuanes. "Por un lado, quiero apoyar a mis personajes favoritos y, por otro lado, también quiero obtener más derechos pagados".
Un reportero de Beijing News descubrió que en este tipo de software de chat de trama de IA, los usuarios pueden personalizar la descripción de la imagen y el estilo del personaje virtual al crear su propio personaje, y el sistema generará una imagen de personaje de IA. Además, los usuarios también pueden crear configuraciones de personajes, como establecer apodos, antecedentes de identidad, comentarios de apertura y personalizar voces para los personajes. Las necesidades personalizadas de roles de los usuarios a menudo están vinculadas a la recarga.
El reportero de Beijing News vio durante la prueba que Hoshino puede obtener más derechos comprando tarjetas Star Diamond y Star Moon, como reproducir voces automáticamente, obtener respuestas recomendadas y disfrutar de velocidades de respuesta de agentes inteligentes más rápidas, etc. La tarjeta Xingyue tiene un precio de 12 yuanes por una tarjeta mensual, 32 yuanes por una tarjeta trimestral y 120 yuanes por una tarjeta anual. El precio de compra de diamantes estrella individualmente es de 1 yuan por 100 diamantes y el precio inicial es de 600 diamantes.
Hoshino Software también emitirá la tarjeta "Star Thought" a los usuarios, una imagen de un personaje virtual, que los usuarios pueden configurar como fondo de chat. Los usuarios pueden obtener tarjetas Xing Nian recargando Star Moon Cards o Star Diamonds, y comprarlas y venderlas dentro del software.
En Cos Love, cuando los usuarios agotan su tiempo de chat gratuito, necesitan comprar un paquete de chat para "reponer energía" antes de poder continuar chateando. En términos de precio, con 5 yuanes se pueden obtener 200 tiempos de chat, que son válidos por 7 días, y con 10 yuanes se pueden comprar 500 tiempos de chat, que son válidos por 15 días. Los usuarios también pueden reponer energía viendo anuncios de 60 segundos.
Además de la necesidad básica de chatear, Cos Love también ofrece servicios mejorados. Entre ellos, al recargar "piedras lunares" o abrir una membresía, podrás robar cartas para desbloquear personajes y realizar llamadas de voz o video con personajes virtuales. El precio de la membresía mensual es de 24,8 yuanes y la membresía anual es de 93,8 yuanes.
El "amor" de la gran modelo expone los problemas
Según informes de los medios públicos, Hoshino tiene alrededor de 500.000 usuarios diarios en China, lo que lo convierte en un producto líder. A medida que el software de chat de historias de IA se vuelve popular, los productos sociales de IA nacionales también se globalizan. El número de usuarios activos mensuales globales de la versión extranjera de Talkie de Hoshinoye ha alcanzado los 11 millones.
Sin embargo, los usuarios que pagan por personajes de IA sin duda necesitan una mejor experiencia de diálogo. Actualmente, todavía existen muchos problemas con este tipo de software. Sin embargo, el software que requiere recarga para obtener la cantidad de chats no tiene un valor atractivo "La razón principal es que el diálogo es demasiado rígido y no puede incorporar empatía. Es difícil para los usuarios obtener valor emocional, por lo que no pagaré por él. eso”, dijo un usuario.
Xiao Ning mencionó que durante el proceso de chat, el novio AI habrá "leído respuestas aleatorias", lo que afecta la experiencia del usuario. Algunos usuarios también se quejan de que a medida que aumenta el número de rondas de diálogo, los personajes experimentarán "pérdida de memoria" o se desviarán de su personalidad, lo que provocará que el diálogo sea incoherente.
En la actualidad, el software de chat de tramas de IA utiliza principalmente "inteligencia" y "emoción" como trucos para atraer usuarios. Entre ellos, AiU dijo que el software puede proporcionar a los usuarios comodidad y calidez psicológicas a través de grandes modelos psicológicos desarrollados por ellos mismos. Hoshino dijo que, al confiar en la tecnología AIGC multimodal, "múltiples métodos de interacción, cuanto más interactivo seas, mejor te entenderá".
En la promoción, Cos Love afirma que está "contigo las 24 horas del día" y que "la IA aquí ha sido cuidadosamente entrenada para pronunciar palabras de amor", etc.
La introducción del software de AiU muestra que fue desarrollado por Beijing Lingxin Intelligent Technology Co., Ltd. y utiliza el modelo grande súper antropomórfico CharacterGLM. Al diseñar el modelo grande, el equipo consideró principalmente la identidad, los intereses, las opiniones, las experiencias, los logros y las relaciones sociales. y Siete atributos incluyendo otros.
Hoshino fue desarrollado por Shanghai Xiyu Technology Co., Ltd. y utiliza el modelo híbrido experto (MoE) abab de MiniMax.
Zhang Qi, profesor de la Facultad de Ciencias de la Computación y Tecnología de la Universidad de Fudan, le dijo al reportero de Beijing News que la lógica técnica detrás del software de chat de trama de IA todavía se basa en modelos de lenguaje grandes cuando se construyen modelos tan grandes. Para entrenar los modelos grandes a través de datos masivos, se requiere supervisión manual y ajuste para ajustar el modelo de lenguaje grande hacia un diálogo de tipo compañero "Por ejemplo, si el novio dice algo y luego la novia debe responder con algo, lo haremos. Deje que la gente escriba dicha respuesta y luego deje que la máquina lo haga. Si la respuesta generada por el aprendizaje automático es incorrecta, modificaremos sus parámetros hasta que pueda generar de acuerdo con la lógica que imaginamos.
Con respecto a las situaciones en las que los personajes de IA parecen ser "pornográficos", "diálogos violentos" o "jugadores insultantes" en sus respuestas, Zhang Qi dijo que los datos actuales del modelo de lenguaje grande detrás de dicho software provienen principalmente de novelas conversacionales, o algunas están hechas. de novelas. Extracción de texto. Aunque hay una gran cantidad de novelas en línea, la calidad varía y muchos contenidos pornográficos, dudosos y violentos están muy extendidos. Si el filtrado o la clasificación de datos no se realiza bien, se producirán problemas cuando se genere el modelo.
■ Argumento
Las plataformas de inteligencia artificial son las culpables y se debe fortalecer el filtrado de contenido para proteger a los jóvenes.
Liu Kai, abogado del bufete de abogados Beijing Zhongwen (Changsha), dijo que las plataformas en línea tienen la responsabilidad de garantizar que el contenido proporcionado en modo juvenil sea inofensivo para los menores y evitar la difusión de contenido que involucre obscenidad, pornografía, violencia o lenguaje inapropiado. El modo juvenil está diseñado para proteger a los menores. Si este modo está activado, aún se pueden mantener conversaciones con contenido pornográfico, lo que constituye una clara violación de las disposiciones pertinentes de la "Ley de Protección de Menores".
En opinión de Liu Kai, la existencia de problemas con el software de chat de historias de IA no sólo refleja la falta de gobernanza interna de la plataforma, sino que también pone de relieve la necesidad de supervisión externa. El software de chat de IA debería fortalecer el mecanismo de revisión de contenido, especialmente para el modo juvenil, para garantizar que la tecnología pueda filtrar y prohibir de manera efectiva conversaciones inapropiadas. Las plataformas deben realizar una revisión ética de los modelos de IA para garantizar que el contenido generado cumpla con las leyes y regulaciones pertinentes.
Si una persona virtual con IA insulta a un usuario en una conversación, especialmente cuando el usuario expresa depresión o desesperación, usa palabras extremas para insultar a otros o comete violencia cibernética, si las circunstancias son graves, constituye un delito. "Incluso si la IA no es un sujeto humano, su comportamiento sigue siendo el resultado del diseño y la gestión de la plataforma. La plataforma tiene la responsabilidad de supervisar y optimizar su modelo de IA para evitar que dañe a los usuarios", afirmó Liu Kai.
A medida que más y más usuarios comienzan a recurrir al software de chat dramático con IA, ¿cómo deberían los desarrolladores de software diseñarlo para que sane sin cruzar la línea?
Zhang Qi le dijo al reportero de Beijing News: "Se puede lograr mediante el método técnico de 'alineación similar a la humana', pero el costo es mayor. Zhang Qi dijo que la "alineación similar a la humana" es un método de aprendizaje por refuerzo para cambiar el Sesgo de salida del lenguaje del modelo para hacerlo más preciso. Sea más amigable y elimine los problemas éticos y de seguridad. Sin embargo, el costo de capacitación de la "alineación similar a la humana" es muy alto, incluida la gran cantidad de anotaciones, la estabilidad insuficiente de la capacitación y el alto costo de tiempo. "Es difícil para las pequeñas empresas hacer un buen trabajo en la "alineación similar a la humana". en términos de tecnología, personal y costos de capital".