중국 과학기술대학교는 과학 모델용 AI의 보안을 보호하고 화학 분야 최초의 안전 벤치마크를 구축하기 위해 설계된 SciGuard와 SciMT-Safety라는 두 가지 중요한 도구를 출시했습니다. 이 연구는 유해 물질을 생성하거나 규제를 회피하는 데 사용되는 등 오픈 소스 AI 모델의 잠재적 위험을 강조합니다. SciGuard는 심층적인 위험 평가를 수행하고 모델 남용을 효과적으로 방지하기 위한 보안 권장 사항을 제공할 수 있는 대규모 언어 모델 기반 지능형 에이전트입니다. SciMT-Safety는 대규모 언어 모델과 과학적 지능형 에이전트의 안전 수준을 평가하는 데 사용되는 화학 및 생물학 분야에 초점을 맞춘 최초의 안전 질문 및 답변 벤치마크입니다. 이번 연구는 AI 보안 분야의 연구개발에 새로운 방향과 방법을 제시하는 의의가 크다.
-->USTC는 AI for Science 모델을 보호하고 화학 분야 최초의 안전 벤치마크를 구축하기 위해 SciGuard 및 SciMT-Safety를 출시했습니다. 연구에 따르면 유해 물질을 생성하고 규제를 회피하는 데 사용될 수 있는 오픈 소스 AI 모델의 잠재적 위험이 밝혀졌습니다. SciGuard는 보안 권장 사항을 제공하고 심층적인 위험 평가를 통해 남용을 방지하는 대규모 언어 모델 기반 에이전트입니다. 화학 및 생물학에 초점을 맞춘 최초의 안전 질문 답변 벤치마크인 SciMT-Safety는 대규모 언어 모델 및 과학 에이전트의 안전 수준을 평가합니다. 이 연구는 AI 기술에 대한 감독을 강화하고 과학기술 진보가 사회적 책임이나 윤리적 도전이 아닌 인류를 위한 기술 업그레이드가 되도록 보장하기 위한 글로벌 협력을 요구합니다.
이번 연구 결과는 인공지능 안전 분야에서 획기적인 사건으로, AI 모델의 잠재적인 위험성을 밝힐 뿐만 아니라, 더 중요한 것은 효과적인 솔루션과 평가 방법을 제시한다는 것입니다. 앞으로는 인공지능 기술의 건전한 발전을 보장하고 잠재적인 위협이 아닌 인류 사회에 이익을 가져다주기 위해 이에 대한 감독을 강화하는 글로벌 협력이 필요하다. 그래야만 인공지능 기술의 지속가능한 발전과 온건한 적용이 진정으로 실현될 수 있습니다.