Университет науки и технологий Китая выпустил два важных инструмента — SciGuard и SciMT-Safety, предназначенных для защиты безопасности моделей искусственного интеллекта для науки и установления первого эталона безопасности в области химической науки. Исследование подчеркивает потенциальные риски моделей искусственного интеллекта с открытым исходным кодом, например, использование для создания вредных веществ или обхода правил. SciGuard — это интеллектуальный агент на основе большой языковой модели, который может проводить углубленную оценку рисков и предоставлять рекомендации по безопасности для эффективного предотвращения злоупотреблений моделью. SciMT-Safety — это первый тест вопросов и ответов по безопасности, ориентированный на области химических и биологических наук и используемый для оценки уровня безопасности больших языковых моделей и научных интеллектуальных агентов. Эта работа имеет большое значение и обеспечивает новые направления и методы исследований и разработок в области безопасности ИИ.
-->USTC выпустила SciGuard и SciMT-Safety для защиты моделей искусственного интеллекта для науки и установления первого эталона безопасности в области химической науки. Исследования выявляют потенциальные риски моделей искусственного интеллекта с открытым исходным кодом, которые могут использоваться для создания вредных веществ и обхода правил. SciGuard — это агент, управляемый большой языковой моделью, который предоставляет рекомендации по безопасности и предотвращает злоупотребления посредством углубленной оценки рисков. SciMT-Safety, первый тест на ответы на вопросы безопасности, ориентированный на химические и биологические науки, оценивает уровень безопасности больших языковых моделей и научных агентов. Исследование призывает к глобальному сотрудничеству для усиления контроля над технологиями искусственного интеллекта и обеспечения того, чтобы научно-технический прогресс был технологическим обновлением для людей, а не социальной ответственностью и этической проблемой.
Этот результат исследования является важной вехой в области безопасности искусственного интеллекта. Он не только раскрывает потенциальные риски моделей ИИ, но, что более важно, предоставляет эффективные решения и методы оценки. В будущем необходимо глобальное сотрудничество для усиления надзора за технологиями искусственного интеллекта, чтобы обеспечить их здоровое развитие и принести пользу человеческому обществу, а не потенциальные угрозы. Только таким образом можно по-настоящему реализовать устойчивое развитие и благоприятное применение технологий искусственного интеллекта.