L'équipe de sécurité de JFrog a récemment publié un rapport indiquant qu'il existe un grand nombre de modèles AI ML malveillants sur la plate-forme Hugging Face, au nombre d'au moins 100. Les risques cachés par ces modèles malveillants ne peuvent être sous-estimés. Certains modèles ont même la capacité d'exécuter du code sur la machine de la victime et d'établir une porte dérobée persistante, ce qui constitue une menace sérieuse pour la sécurité des données des utilisateurs. Les chercheurs ont découvert que des modèles malveillants construits à l'aide des frameworks PyTorch et Tensorflow Keras, tels que le modèle nommé « baller423 », peuvent établir un shell inversé sur l'hôte cible pour obtenir un contrôle à distance. Bien que certains modèles malveillants puissent être téléchargés à des fins de recherche en matière de sécurité, dans le but de découvrir des vulnérabilités et d'obtenir des primes, cela ne réduit pas leur préjudice potentiel.
L'équipe de sécurité de JFrog a découvert au moins 100 modèles AI ML malveillants sur la plateforme Hugging Face. Certains modèles peuvent exécuter du code sur la machine victime, fournissant ainsi une porte dérobée persistante. Les chercheurs en sécurité ont découvert qu'il existe des modèles PyTorch et Tensorflow Keras dotés de fonctions malveillantes sur la plateforme. Par exemple, le modèle baller423 téléchargé par les utilisateurs peut établir un shell inversé sur l'hôte spécifié. Certains modèles malveillants peuvent être téléchargés à des fins de recherche en matière de sécurité afin de découvrir des vulnérabilités et d'obtenir des primes.La plateforme Hugging Face devrait renforcer le mécanisme d'examen des modèles téléchargés afin de prévenir efficacement de tels risques de sécurité. Les utilisateurs doivent également accroître leur sensibilisation à la sécurité et utiliser avec prudence les modèles d’IA provenant de sources inconnues pour éviter les attaques malveillantes. Cet incident nous rappelle une fois de plus qu'avec le développement de la technologie de l'intelligence artificielle, les problèmes de sécurité sont devenus de plus en plus importants et que l'industrie doit travailler ensemble pour construire un environnement écologique d'IA plus sûr et plus fiable.