中国科学技术大学发布了SciGuard和SciMT-Safety两个重要工具，旨在保护AI for Science模型的安全，并建立了化学科学领域的首个安全基准。这项研究强调了开源AI模型潜在的风险，例如被用于制造有害物质或规避法规。SciGuard是一个大型语言模型驱动的智能代理，能够进行深入的风险评估并提供安全建议，有效防止模型滥用。而SciMT-Safety则是首个专注于化学和生物科学领域的安全问答基准，用于评估大语言模型和科学智能代理的安全水平。这项工作具有重要的意义，为AI安全领域的研究和发展提供了新的方向和方法。
-->中国科大发布SciGuard和SciMT-Safety，保护AI for Science模型，建立首个化学科学领域安全基准。研究揭示开源AI模型潜在风险，可能用于制造有害物质并规避法规。SciGuard是大型语言模型驱动的agent，通过深入风险评估提供安全建议，防止滥用。首个专注于化学和生物科学领域的安全问答基准SciMT-Safety评估了大语言模型和科学agent的安全水平。研究呼吁全球合作，强化对AI技术的监管，确保科技进步是对人类的技术升级，而非社会责任和伦理挑战。
这项研究成果对人工智能安全领域具有里程碑式的意义，它不仅揭示了AI模型潜在的风险，更重要的是提供了有效的解决方案和评估方法。未来，需要全球范围内的合作，加强对人工智能技术的监管，确保其健康发展，为人类社会带来福祉，而非潜在的威胁。 只有这样，才能真正实现人工智能技术的可持续发展和良性应用。