Les progrès rapides de la technologie de l'intelligence artificielle remodèlent la structure de l'industrie technologique, et de nombreux géants de la technologie se sont consacrés à la recherche et au développement et au déploiement de systèmes "AI d'agent". Ces systèmes intelligents peuvent effectuer indépendamment des tâches complexes sans avoir besoin d'une intervention humaine continue, démontrant un potentiel d'automatisation sans précédent. Des sociétés telles que Microsoft et Anthropic ont pris les devants lors du lancement de leurs solutions de proxy AI respectives. décision. .
Selon les médias technologiques faisant autorité "l'information", l'attitude prudente d'Openai découle principalement des préoccupations concernant les attaques "injectables". Ce nouveau type de cyberattaque peut induire des systèmes d'IA à exécuter des instructions malveillantes, provoquant ainsi de sérieux risques de sécurité. Par exemple, lorsqu'un utilisateur autorise un agent d'IA à acheter en ligne, le système peut être amené à accéder aux sites Web malveillants et à effectuer des opérations dangereuses telles que le vol d'informations par e-mail ou des données de carte de crédit. Cette vulnérabilité de sécurité peut non seulement entraîner une fuite de confidentialité des utilisateurs, mais également causer des dommages irréparables à la réputation de la marque d'Openai.
Ce qui est unique dans les systèmes proxy d'IA, c'est qu'ils ont la capacité de faire fonctionner les ordinateurs indépendamment, ce qui les fait faire face à des risques de sécurité beaucoup plus élevés que les systèmes d'IA traditionnels. Une fois piratés, ces agents peuvent causer des dommages systémiques aux actifs numériques des utilisateurs. Le technicien interne OpenAI a admis que bien que tous les modèles de gros langues soient susceptibles d'être attaqués, les caractéristiques d'autonomie des agents d'IA amplifient considérablement ce risque.
La menace d'injecter des attaques n'est pas sans fondement, et ce risque a été entièrement vérifié sur d'autres plateformes. L'année dernière, un expert en cybersécurité a réussi à manifester comment manipuler le système de copilote d'IA de Microsoft pour divulguer des informations confidentielles des organisations, y compris le contenu des e-mails et les enregistrements de transaction bancaire. Encore plus choquant, c'est que les attaquants sont en mesure d'envoyer de faux e-mails imitant le style d'écriture d'employés spécifiques, mettant en évidence la vulnérabilité des systèmes d'IA en termes de protection de la sécurité.
Le produit phare d'Openai, Chatgpt, a également été testé par des attaques d'injection rapides. Les chercheurs ont réussi à implanter une fausse "mémoire" en téléchargeant des fichiers tiers (tels que des documents de mots), et cette expérience a entièrement exposé des vulnérabilités potentielles dans le système d'IA. Face à un défi de sécurité aussi sévère, l'équipe OpenAI a exprimé sa surprise à l'attitude lâche de son concurrent anthropic lorsqu'il a libéré son agent d'IA. Anthropic conseille uniquement aux développeurs de "prendre des mesures pour isoler Claude à partir de données sensibles", une mesure de sécurité relativement simple qui est évidemment difficile à gérer des cyber-menaces de plus en plus complexes.
Il est rapporté qu'OpenAI pourrait lancer son produit proxy d'IA ce mois-ci. Cependant, la question de la préoccupation commune dans l'industrie est: le temps supplémentaire que l'équipe de développement a-t-il acquis pour construire un système de protection de la sécurité suffisamment solide? Avec le développement rapide de la technologie de l'IA, comment trouver un équilibre entre l'innovation et la sécurité sera un problème important à laquelle les entreprises de l'IA.
Points de base:
OpenAI a retardé la libération des agents de l'IA en raison des risques de sécurité d'injecter des attaques, mettant en évidence les risques potentiels des systèmes d'IA.
Bien que des entreprises telles que Microsoft et Anthropic aient lancé des produits d'agent d'IA, les mesures de protection de la sécurité sont toujours insuffisantes.
OpenAI s'efforce d'améliorer les performances de sécurité de ses produits pour faire face aux cyber-menaces de plus en plus complexes.