Universitas Sains dan Teknologi Tiongkok telah merilis dua alat penting, SciGuard dan SciMT-Safety, yang dirancang untuk melindungi keamanan model AI untuk Sains dan menetapkan tolok ukur keselamatan pertama di bidang ilmu kimia. Penelitian ini menyoroti potensi risiko model AI open source, seperti digunakan untuk membuat zat berbahaya atau menghindari peraturan. SciGuard adalah agen cerdas berbasis model bahasa besar yang dapat melakukan penilaian risiko mendalam dan memberikan rekomendasi keamanan untuk mencegah penyalahgunaan model secara efektif. SciMT-Safety adalah tolok ukur tanya jawab keselamatan pertama yang berfokus pada bidang ilmu kimia dan biologi, yang digunakan untuk mengevaluasi tingkat keamanan model bahasa besar dan agen cerdas ilmiah. Pekerjaan ini sangat penting dan memberikan arahan serta metode baru untuk penelitian dan pengembangan di bidang keamanan AI.
-->USTC merilis SciGuard dan SciMT-Safety untuk melindungi model AI untuk Sains dan menetapkan tolok ukur keamanan pertama di bidang ilmu kimia. Penelitian mengungkapkan potensi risiko model AI open source yang dapat digunakan untuk menciptakan zat berbahaya dan menghindari peraturan. SciGuard adalah agen berbasis model bahasa besar yang memberikan rekomendasi keamanan dan mencegah penyalahgunaan melalui penilaian risiko mendalam. SciMT-Safety, tolok ukur jawaban pertanyaan keselamatan pertama yang berfokus pada ilmu kimia dan biologi, mengevaluasi tingkat keamanan model bahasa besar dan agen ilmiah. Studi ini menyerukan kerja sama global untuk memperkuat pengawasan teknologi AI dan memastikan bahwa kemajuan ilmu pengetahuan dan teknologi merupakan peningkatan teknologi bagi umat manusia, dan bukan merupakan tanggung jawab sosial dan tantangan etika.
Hasil penelitian ini merupakan tonggak sejarah di bidang keamanan kecerdasan buatan. Hasil ini tidak hanya mengungkap potensi risiko model AI, namun yang lebih penting, memberikan solusi dan metode evaluasi yang efektif. Di masa depan, kerja sama global diperlukan untuk memperkuat pengawasan teknologi kecerdasan buatan guna memastikan perkembangannya yang sehat dan memberikan manfaat bagi masyarakat daripada potensi ancamannya. Hanya dengan cara inilah pembangunan berkelanjutan dan penerapan teknologi kecerdasan buatan dapat benar-benar terwujud.