中国科学技術大学は、AI for Science モデルのセキュリティを保護し、化学科学分野で初の安全性ベンチマークを確立するために設計された 2 つの重要なツール、SciGuard と SciMT-Safety をリリースしました。この研究は、有害物質の作成や規制の回避に使用されるなど、オープンソース AI モデルの潜在的なリスクを浮き彫りにしています。 SciGuard は、大規模な言語モデル駆動のインテリジェント エージェントであり、詳細なリスク評価を実施し、モデルの悪用を効果的に防止するためのセキュリティに関する推奨事項を提供します。 SciMT-Safety は、化学および生物科学の分野に焦点を当てた初の安全性質問と回答のベンチマークであり、大規模な言語モデルと科学的インテリジェント エージェントの安全性レベルを評価するために使用されます。この研究は非常に重要であり、AI セキュリティ分野の研究開発に新しい方向性と方法を提供します。
-->USTC は、AI for Science モデルを保護し、化学科学分野で初の安全ベンチマークを確立するために、SciGuard と SciMT-Safety をリリースしました。研究により、有害物質の作成や規制の回避に使用される可能性のあるオープンソース AI モデルの潜在的なリスクが明らかになりました。 SciGuard は、セキュリティに関する推奨事項を提供し、詳細なリスク評価を通じて悪用を防止する大規模な言語モデル駆動のエージェントです。 SciMT-Safety は、化学科学および生物科学に焦点を当てた初の安全性質問回答ベンチマークであり、大規模な言語モデルと科学エージェントの安全性レベルを評価します。この調査では、AI技術の監督を強化し、科学技術の進歩が社会的責任や倫理的課題ではなく、人類の技術の向上であることを保証するために世界的な協力が求められている。
この研究結果は、人工知能の安全性の分野における画期的な成果であり、AI モデルの潜在的なリスクを明らかにするだけでなく、さらに重要なことに、効果的なソリューションと評価方法を提供します。将来的には、人工知能技術の健全な発展を確保し、潜在的な脅威ではなく人類社会に利益をもたらすために、人工知能技術の監督を強化するために世界的な協力が必要です。 この方法によってのみ、人工知能テクノロジーの持続可能な開発と良性の応用を真に実現することができます。