A Universidade de Ciência e Tecnologia da China lançou duas ferramentas importantes, SciGuard e SciMT-Safety, projetadas para proteger a segurança da IA para modelos científicos e estabelecer a primeira referência de segurança no campo da ciência química. A investigação destaca os riscos potenciais dos modelos de IA de código aberto, como a utilização para criar substâncias nocivas ou contornar regulamentações. SciGuard é um agente inteligente orientado por modelo de linguagem grande que pode realizar avaliações de risco aprofundadas e fornecer recomendações de segurança para prevenir eficazmente o abuso de modelo. SciMT-Safety é o primeiro benchmark de perguntas e respostas de segurança focado nas áreas de ciências químicas e biológicas, usado para avaliar o nível de segurança de grandes modelos de linguagem e agentes científicos inteligentes. Este trabalho é de grande importância e fornece novas direções e métodos para pesquisa e desenvolvimento na área de segurança de IA.
-->A USTC lançou o SciGuard e o SciMT-Safety para proteger modelos de IA para Ciência e estabelecer a primeira referência de segurança no campo da ciência química. A investigação revela riscos potenciais de modelos de IA de código aberto que podem ser utilizados para criar substâncias nocivas e contornar regulamentações. SciGuard é um agente orientado por um grande modelo de linguagem que fornece recomendações de segurança e evita abusos por meio de avaliação de risco aprofundada. SciMT-Safety, o primeiro benchmark de resposta a perguntas de segurança focado nas ciências químicas e biológicas, avalia o nível de segurança de grandes modelos de linguagem e agentes científicos. O estudo apela à cooperação global para reforçar a supervisão da tecnologia de IA e garantir que o progresso científico e tecnológico seja uma atualização tecnológica para os seres humanos, em vez de uma responsabilidade social e um desafio ético.
O resultado desta pesquisa é um marco no campo da segurança da inteligência artificial. Ele não apenas revela os riscos potenciais dos modelos de IA, mas, mais importante, fornece soluções e métodos de avaliação eficazes. No futuro, é necessária uma cooperação global para reforçar a supervisão da tecnologia de inteligência artificial, a fim de garantir o seu desenvolvimento saudável e trazer benefícios para a sociedade humana, em vez de potenciais ameaças. Só desta forma o desenvolvimento sustentável e a aplicação benigna da tecnologia de inteligência artificial poderão ser verdadeiramente realizados.