La Universidad de Ciencia y Tecnología de China ha lanzado dos herramientas importantes, SciGuard y SciMT-Safety, diseñadas para proteger la seguridad de los modelos de IA para la ciencia y establecer el primer punto de referencia de seguridad en el campo de la ciencia química. La investigación destaca los riesgos potenciales de los modelos de IA de código abierto, como su uso para crear sustancias nocivas o eludir regulaciones. SciGuard es un agente inteligente basado en modelos de lenguaje grande que puede realizar evaluaciones de riesgos en profundidad y proporcionar recomendaciones de seguridad para prevenir eficazmente el abuso de modelos. SciMT-Safety es el primer punto de referencia de preguntas y respuestas de seguridad centrado en los campos de las ciencias químicas y biológicas, que se utiliza para evaluar el nivel de seguridad de grandes modelos de lenguaje y agentes científicos inteligentes. Este trabajo es de gran importancia y proporciona nuevas direcciones y métodos para la investigación y el desarrollo en el campo de la seguridad de la IA.
-->La USTC lanzó SciGuard y SciMT-Safety para proteger los modelos de IA para la ciencia y establecer el primer punto de referencia de seguridad en el campo de la ciencia química. La investigación revela riesgos potenciales de los modelos de IA de código abierto que pueden usarse para crear sustancias nocivas y eludir las regulaciones. SciGuard es un agente impulsado por modelos de lenguaje grande que brinda recomendaciones de seguridad y previene el abuso mediante una evaluación de riesgos en profundidad. SciMT-Safety, el primer punto de referencia de respuesta a preguntas de seguridad centrado en las ciencias químicas y biológicas, evalúa el nivel de seguridad de grandes modelos de lenguaje y agentes científicos. El estudio pide la cooperación global para fortalecer la supervisión de la tecnología de IA y garantizar que el progreso científico y tecnológico sea una mejora tecnológica para los seres humanos, en lugar de una responsabilidad social y un desafío ético.
El resultado de esta investigación es un hito en el campo de la seguridad de la inteligencia artificial. No solo revela los riesgos potenciales de los modelos de IA, sino que, lo que es más importante, proporciona soluciones y métodos de evaluación eficaces. En el futuro, se necesita cooperación global para fortalecer la supervisión de la tecnología de inteligencia artificial para garantizar su desarrollo saludable y traer beneficios a la sociedad humana en lugar de amenazas potenciales. Sólo así se podrá lograr realmente el desarrollo sostenible y la aplicación benigna de la tecnología de inteligencia artificial.