中國科學技術大學發布了SciGuard和SciMT-Safety兩個重要工具，旨在保護AI for Science模型的安全，並建立了化學科學領域的首個安全基準。這項研究強調了開源AI模型的潛在風險，例如被用於製造有害物質或規避法規。 SciGuard是一個大型語言模型驅動的智慧代理，能夠進行深入的風險評估並提供安全建議，有效防止模型濫用。而SciMT-Safety則是第一個專注於化學和生物科學領域的安全問答基準，用於評估大語言模型和科學智慧代理的安全程度。這項工作具有重要的意義，為AI安全領域的研究和發展提供了新的方向和方法。
-->中國科大發表SciGuard和SciMT-Safety，保護AI for Science模型，建立首個化學科學領域安全基準。研究揭示開源AI模型潛在風險，可能用於製造有害物質並規避法規。 SciGuard是大型語言模型驅動的agent，透過深入風險評估提供安全建議，防止濫用。第一個專注於化學和生物科學領域的安全問答基準SciMT-Safety評估了大語言模型和科學agent的安全水平。研究呼籲全球合作，強化對AI技術的監管，確保科技進步是人類的技術升級，而非社會責任和倫理挑戰。
這項研究成果對人工智慧安全領域具有里程碑式的意義，它不僅揭示了AI模型潛在的風險，更重要的是提供了有效的解決方案和評估方法。未來，需要全球的合作，加強對人工智慧技術的監管，確保其健康發展，為人類社會帶來福祉，而非潛在的威脅。 只有這樣，才能真正實現人工智慧技術的永續發展和良性應用。