Une nouvelle étude de l'Université de New York révèle la vulnérabilité alarmante des modèles linguistiques à grande échelle (LLM) dans la formation des données. La recherche montre qu'une très petite quantité de fausses informations, ne représentant même que 0,001 % des données de formation, peut sérieusement affecter l'exactitude et la fiabilité du LLM, l'amenant à produire des erreurs majeures. Cette découverte est particulièrement importante dans le domaine médical, où des informations médicales erronées peuvent directement mettre en danger la sécurité des patients. La recherche a été publiée dans la revue Nature Medicine, soulevant de nombreuses inquiétudes quant à la sécurité et à la fiabilité de l’IA dans les applications médicales.
Récemment, une équipe de recherche de l'Université de New York a publié une étude révélant la vulnérabilité des modèles linguistiques à grande échelle (LLM) dans l'entraînement des données. Ils ont constaté que même une infime quantité de fausses informations, représentant seulement 0,001 % des données d’entraînement, peut provoquer des erreurs importantes dans l’ensemble du modèle. Cette découverte est particulièrement préoccupante dans le domaine médical, où la désinformation peut avoir un impact direct sur la sécurité des patients.
Les chercheurs ont souligné dans un article publié dans la revue "Nature Medicine" que même si le LLM fonctionne bien, si de fausses informations sont injectées dans ses données d'entraînement, ces modèles peuvent toujours fonctionner moins bien que les modèles non entraînés sur certains modèles d'évaluation open source. est tout aussi bon. Cela signifie que, lors de tests réguliers, nous ne serons peut-être pas en mesure de détecter les risques potentiels dans ces modèles.
Pour tester cela, l’équipe de recherche a mené des expériences sur un ensemble de données de formation appelé « The Pile », dans lequel ils ont délibérément ajouté 150 000 faux articles médicaux générés par l’IA. En seulement 24 heures, ils ont généré le contenu, et l'étude a montré que le remplacement de 0,001 % du contenu dans l'ensemble de données, même un petit million de marqueurs d'entraînement, entraînait une augmentation de 4,8 % du contenu nuisible. Le processus est extrêmement peu coûteux, ne coûtant que 5 $.
Cette attaque d'empoisonnement des données ne nécessite pas de contact direct avec les poids du modèle, mais l'attaquant peut plutôt affaiblir l'efficacité du LLM simplement en publiant des informations nuisibles sur le réseau. L’équipe de recherche souligne que cette découverte met en évidence des risques importants lors de l’utilisation d’outils d’IA dans le domaine médical. Dans le même temps, ils ont également mentionné qu'il y a eu des cas pertinents montrant que certaines plateformes médicales d'IA, telles que MyChart, génèrent souvent des informations erronées lorsqu'elles répondent automatiquement aux questions des patients, causant ainsi des problèmes aux patients.
Par conséquent, les chercheurs appellent les développeurs d’IA et les prestataires médicaux à reconnaître clairement cette vulnérabilité lors du développement de LLM médicaux. Ils recommandent que le LLM ne soit pas utilisé pour des tâches critiques telles que le diagnostic ou le traitement jusqu'à ce que la sécurité puisse être assurée à l'avenir.
Souligner:
La recherche montre que seulement 0,001 % des fausses informations peuvent rendre inefficace un modèle de langage à grande échelle (LLM).
Dans le domaine médical, la diffusion de fausses informations peut nuire gravement à la sécurité des patients.
Les chercheurs insistent sur le fait que le LLM ne devrait pas être utilisé pour des tâches médicales importantes telles que le diagnostic ou le traitement jusqu'à ce que la sécurité soit assurée.
Les résultats de cette étude nous avertissent qu’avant d’appliquer des modèles linguistiques à grande échelle à des domaines critiques tels que les soins médicaux, nous devons renforcer la recherche sur la sécurité des données et la fiabilité des modèles afin de garantir leur sécurité et leur efficacité et d’éviter les risques potentiels.