Un último estudio en la Universidad de Nueva York revela la sorprendente vulnerabilidad de los modelos de idiomas a gran escala (LLM) en la capacitación de datos. Los estudios han demostrado que una pequeña cantidad de información falsa solo representa el 0.001%de los datos de capacitación, lo que puede afectar seriamente la precisión y confiabilidad de LLM y conducir a errores importantes. Este descubrimiento es particularmente importante para el campo médico, porque la información médica incorrecta puede poner en peligro directamente la seguridad del paciente. La investigación se ha publicado en la revista de la Nature Medicine, que ha despertado la atención y confiabilidad generalizada de la IA en la seguridad y la confiabilidad de la IA.
Recientemente, el equipo de investigación de la Universidad de Nueva York ha publicado un estudio que revela la vulnerabilidad de los modelos de idiomas a gran escala (LLM) en la capacitación de datos. Descubrieron que incluso una pequeña cantidad de información falsa solo necesitaba dar cuenta del 0.001%de los datos de capacitación, lo que podría conducir a errores importantes en todo el modelo. Este descubrimiento es particularmente atractivo para el campo de la medicina, porque la información incorrecta puede afectar directamente la seguridad de los pacientes.
Los investigadores señalaron en los documentos publicados en la revista "Natural Medicine" que, aunque LLM se desempeñó bien, si los datos de capacitación se inyectan con información falsa, estos modelos aún se pueden realizar en el punto de referencia de evaluación de algún código fuente abierto. El impacto es tan bueno como. Esto significa que según las pruebas convencionales, es posible que no podamos detectar los riesgos potenciales de estos modelos.
Para verificar esto, el equipo de investigación experimentó con un conjunto de datos de entrenamiento llamado "la pila", y deliberadamente se unieron a 150,000 artículos falsos médicos generados por AI. En solo 24 horas, generaron estos contenidos. El costo de este proceso es extremadamente bajo, solo $ 5.
Este ataque de envenenamiento de datos no requiere el peso del modelo directamente, sino que el atacante solo necesita publicar información dañina en Internet para debilitar la efectividad de LLM. El equipo de investigación enfatizó que este descubrimiento destaca los principales riesgos al usar herramientas de IA en el campo de la medicina. Al mismo tiempo, también mencionaron que los casos relacionados han demostrado que algunas plataformas médicas de IA, como MyChart, a menudo generan información de error al responder automáticamente a los problemas de los pacientes, trayendo problemas a los pacientes.
Por lo tanto, los investigadores piden a los desarrolladores de IA y a los proveedores médicos para que comprendan esto frágil al desarrollar Medical LLM. Sugirieron que LLM no debería usarse para tareas clave como el diagnóstico o el tratamiento antes de garantizar la seguridad en el futuro.
Agujas:
Los estudios han demostrado que solo el 0.001% de la información falsa puede hacer fallar los modelos de lenguaje a gran escala (LLM).
En el campo médico, la propagación de información falsa puede afectar seriamente la seguridad del paciente.
Los investigadores han pedido que no use LLM para tareas médicas importantes como el diagnóstico o el tratamiento antes de garantizar la seguridad.
Los resultados nos advirtieron que antes de aplicar modelos de lenguaje a gran escala a áreas clave como atención médica, la investigación sobre la seguridad de los datos y la confiabilidad del modelo debe fortalecerse para garantizar su seguridad y efectividad y evitar riesgos potenciales.