L'Université des sciences et technologies de Chine a publié deux outils importants, SciGuard et SciMT-Safety, conçus pour protéger la sécurité des modèles AI for Science et établir la première référence de sécurité dans le domaine des sciences chimiques. La recherche met en évidence les risques potentiels des modèles d’IA open source, comme leur utilisation pour créer des substances nocives ou contourner les réglementations. SciGuard est un agent intelligent basé sur un modèle de langage étendu qui peut effectuer des évaluations approfondies des risques et fournir des recommandations de sécurité pour prévenir efficacement les abus de modèle. SciMT-Safety est le premier benchmark de questions et réponses de sécurité axé sur les domaines des sciences chimiques et biologiques, utilisé pour évaluer le niveau de sécurité des grands modèles de langage et des agents scientifiques intelligents. Ce travail est d'une grande importance et fournit de nouvelles orientations et méthodes de recherche et de développement dans le domaine de la sécurité de l'IA.
-->L'USTC a publié SciGuard et SciMT-Safety pour protéger les modèles AI for Science et établir la première référence de sécurité dans le domaine de la science chimique. La recherche révèle les risques potentiels liés aux modèles d’IA open source qui pourraient être utilisés pour créer des substances nocives et contourner les réglementations. SciGuard est un grand agent basé sur un modèle de langage qui fournit des recommandations de sécurité et prévient les abus grâce à une évaluation approfondie des risques. SciMT-Safety, le premier référentiel de réponses à des questions de sécurité axé sur les sciences chimiques et biologiques, évalue le niveau de sécurité des grands modèles de langage et des agents scientifiques. L'étude appelle à une coopération mondiale pour renforcer la supervision de la technologie de l'IA et garantir que le progrès scientifique et technologique constitue une mise à niveau technologique pour les êtres humains, plutôt qu'une responsabilité sociale et un défi éthique.
Ce résultat de recherche constitue une étape importante dans le domaine de la sécurité de l’intelligence artificielle. Il révèle non seulement les risques potentiels des modèles d’IA, mais, plus important encore, propose des solutions et des méthodes d’évaluation efficaces. À l’avenir, une coopération mondiale sera nécessaire pour renforcer la supervision de la technologie de l’intelligence artificielle afin d’assurer son développement sain et d’apporter des avantages à la société humaine plutôt que des menaces potentielles. Ce n’est qu’ainsi que le développement durable et l’application judicieuse de la technologie de l’intelligence artificielle pourront véritablement être réalisés.