La fonction « Computer Use » de Claude AI lancée par Anthropic Company lui donne la possibilité de contrôler des appareils. Cependant, moins de deux mois après le lancement de cette fonction, les chercheurs en sécurité ont découvert de graves failles de sécurité. Les recherches menées par l'expert en sécurité Johann Rehnberger montrent que, grâce à une simple injection de mots, Claude peut être incité à télécharger et à exécuter des logiciels malveillants, tels que le cadre de commande et de contrôle open source Sliver. Cela a soulevé des inquiétudes quant à la sécurité de l’IA et mis en évidence l’importance des problèmes de sécurité qui ne peuvent être ignorés alors que la technologie de l’IA se développe rapidement.
Moins de deux mois après qu'Anthropic a lancé Computer Use, une fonctionnalité qui permet à Claude de contrôler les appareils, les chercheurs en sécurité ont découvert des vulnérabilités potentielles. Les derniers résultats de recherche divulgués par l’expert en cybersécurité Johann Rehnberger sont choquants : grâce à une simple injection de mots, l’IA peut être incitée à télécharger et à exécuter des logiciels malveillants.
Rehnberger a nommé cet exploit "ZombAIs". Dans la démo, il a réussi à convaincre Claude de télécharger Sliver, un cadre de commande et de contrôle open source utilisé à l'origine pour les tests de l'équipe rouge, mais désormais largement utilisé comme outil malveillant par les pirates. Ce qui est encore plus inquiétant, c’est que ce n’est que la pointe de l’iceberg. Les chercheurs ont souligné que l’IA peut également être amenée à écrire, compiler et exécuter du code malveillant, et que les méthodes d’attaque sont difficiles à empêcher.
Remarque sur la source de l'image : l'image est générée par l'IA et le fournisseur de services d'autorisation d'image Midjourney
Il convient de noter que ce type de risque de sécurité n'est pas propre à Claude. Les experts en sécurité ont découvert que le chatbot DeepSeek AI présente également une vulnérabilité d'injection de mots rapides, qui peut permettre à un attaquant de prendre le contrôle de l'ordinateur de l'utilisateur. De plus, le grand modèle de langage peut également générer des codes d'échappement ANSI, déclenchant l'attaque dite « Terminal DiLLMa », détournant ainsi le terminal du système.
À cet égard, Anthropic a déjà rappelé aux utilisateurs dans sa déclaration bêta : "La fonction Computer Use peut ne pas toujours fonctionner comme prévu. Il est recommandé de prendre des précautions pour isoler Claude des données et opérations sensibles afin d'éviter les risques liés à l'injection de mots rapides."
Cet incident nous rappelle une fois de plus que même si la technologie de l’IA se développe rapidement, les problèmes de sécurité ne peuvent être ignorés. Les développeurs doivent trouver un équilibre entre fonctionnalité et sécurité, et les utilisateurs doivent également être davantage sensibilisés à la sécurité et prendre les mesures de protection nécessaires lorsqu'ils utilisent des outils d'IA.
Cet incident a une fois de plus souligné l'importance de la sécurité de l'IA. Les développeurs et les utilisateurs doivent être plus vigilants et travailler ensemble pour créer un environnement d'application d'IA sûr et fiable. Ce n’est qu’ainsi que nous pourrons garantir que la technologie de l’IA pourra mieux servir l’humanité et éviter les risques potentiels.