มหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีแห่งประเทศจีนได้เปิดตัวเครื่องมือสำคัญ 2 รายการ ได้แก่ SciGuard และ SciMT-Safety ซึ่งออกแบบมาเพื่อปกป้องความปลอดภัยของโมเดล AI สำหรับวิทยาศาสตร์ และสร้างมาตรฐานความปลอดภัยแรกในสาขาวิทยาศาสตร์เคมี การวิจัยเน้นย้ำถึงความเสี่ยงที่อาจเกิดขึ้นจากโมเดล AI แบบโอเพ่นซอร์ส เช่น การใช้เพื่อสร้างสารที่เป็นอันตรายหรือการหลีกเลี่ยงกฎระเบียบ SciGuard เป็นตัวแทนอัจฉริยะที่ขับเคลื่อนด้วยโมเดลภาษาขนาดใหญ่ ซึ่งสามารถประเมินความเสี่ยงในเชิงลึก และให้คำแนะนำด้านความปลอดภัยเพื่อป้องกันการใช้โมเดลในทางที่ผิดได้อย่างมีประสิทธิภาพ SciMT-Safety เป็นเกณฑ์มาตรฐานคำถามและคำตอบด้านความปลอดภัยแรกที่มุ่งเน้นไปที่สาขาวิทยาศาสตร์เคมีและชีวภาพ ซึ่งใช้ในการประเมินระดับความปลอดภัยของแบบจำลองภาษาขนาดใหญ่และตัวแทนอัจฉริยะทางวิทยาศาสตร์ งานนี้มีความสำคัญอย่างยิ่งและให้แนวทางและวิธีการใหม่สำหรับการวิจัยและพัฒนาในด้านการรักษาความปลอดภัยของ AI
-USTC เปิดตัว SciGuard และ SciMT-Safety เพื่อปกป้องโมเดล AI สำหรับวิทยาศาสตร์ และสร้างมาตรฐานความปลอดภัยแรกในสาขาวิทยาศาสตร์เคมี การวิจัยเผยให้เห็นความเสี่ยงที่อาจเกิดขึ้นจากโมเดล AI แบบโอเพ่นซอร์สที่อาจใช้เพื่อสร้างสารที่เป็นอันตรายและหลีกเลี่ยงกฎระเบียบ SciGuard เป็นตัวแทนที่ขับเคลื่อนด้วยโมเดลภาษาขนาดใหญ่ที่ให้คำแนะนำด้านความปลอดภัยและป้องกันการละเมิดผ่านการประเมินความเสี่ยงในเชิงลึก SciMT-Safety เป็นเกณฑ์มาตรฐานการตอบคำถามด้านความปลอดภัยคำถามแรกซึ่งมุ่งเน้นไปที่วิทยาศาสตร์เคมีและชีวภาพ ประเมินระดับความปลอดภัยของแบบจำลองภาษาขนาดใหญ่และตัวแทนทางวิทยาศาสตร์ การศึกษานี้เรียกร้องให้มีความร่วมมือระดับโลกเพื่อเสริมสร้างการกำกับดูแลเทคโนโลยี AI และรับประกันว่าความก้าวหน้าทางวิทยาศาสตร์และเทคโนโลยีเป็นการยกระดับเทคโนโลยีสำหรับมนุษย์ แทนที่จะเป็นความท้าทายด้านความรับผิดชอบต่อสังคมและจริยธรรม
ผลการวิจัยครั้งนี้ถือเป็นก้าวสำคัญในด้านความปลอดภัยของปัญญาประดิษฐ์ ไม่เพียงแต่เผยให้เห็นถึงความเสี่ยงที่อาจเกิดขึ้นของแบบจำลอง AI เท่านั้น แต่ที่สำคัญกว่านั้นคือยังมอบโซลูชั่นและวิธีการประเมินที่มีประสิทธิภาพอีกด้วย ในอนาคต ความร่วมมือระดับโลกเป็นสิ่งจำเป็นเพื่อเสริมสร้างการกำกับดูแลเทคโนโลยีปัญญาประดิษฐ์เพื่อให้แน่ใจว่ามีการพัฒนาที่ดีและนำผลประโยชน์มาสู่สังคมมนุษย์มากกว่าภัยคุกคามที่อาจเกิดขึ้น ด้วยวิธีนี้เท่านั้นจึงจะสามารถตระหนักถึงการพัฒนาที่ยั่งยืนและการประยุกต์ใช้เทคโนโลยีปัญญาประดิษฐ์อย่างอ่อนโยนได้อย่างแท้จริง