Die Universität für Wissenschaft und Technologie Chinas hat zwei wichtige Tools veröffentlicht, SciGuard und SciMT-Safety, die die Sicherheit von KI-for-Science-Modellen schützen und den ersten Sicherheitsmaßstab im Bereich der chemischen Wissenschaften festlegen sollen. Die Forschung verdeutlicht die potenziellen Risiken von Open-Source-KI-Modellen, beispielsweise deren Verwendung zur Herstellung schädlicher Substanzen oder zur Umgehung von Vorschriften. SciGuard ist ein modellgesteuerter intelligenter Agent mit großer Sprache, der detaillierte Risikobewertungen durchführen und Sicherheitsempfehlungen geben kann, um Modellmissbrauch wirksam zu verhindern. SciMT-Safety ist der erste Sicherheits-Fragen- und Antwort-Benchmark, der sich auf die Bereiche der chemischen und biologischen Wissenschaften konzentriert und zur Bewertung des Sicherheitsniveaus großer Sprachmodelle und wissenschaftlicher intelligenter Agenten verwendet wird. Diese Arbeit ist von großer Bedeutung und liefert neue Richtungen und Methoden für Forschung und Entwicklung im Bereich der KI-Sicherheit.
->USTC hat SciGuard und SciMT-Safety veröffentlicht, um KI-for-Science-Modelle zu schützen und den ersten Sicherheitsmaßstab im Bereich der chemischen Wissenschaft zu etablieren. Untersuchungen zeigen potenzielle Risiken von Open-Source-KI-Modellen auf, die zur Herstellung schädlicher Substanzen und zur Umgehung von Vorschriften verwendet werden können. SciGuard ist ein auf großen Sprachmodellen basierender Agent, der Sicherheitsempfehlungen liefert und Missbrauch durch eine detaillierte Risikobewertung verhindert. SciMT-Safety, der erste Benchmark zur Beantwortung von Sicherheitsfragen mit Schwerpunkt auf den chemischen und biologischen Wissenschaften, bewertet das Sicherheitsniveau großer Sprachmodelle und wissenschaftlicher Agenten. Die Studie fordert eine globale Zusammenarbeit, um die Überwachung der KI-Technologie zu stärken und sicherzustellen, dass wissenschaftlicher und technologischer Fortschritt eine technologische Weiterentwicklung für den Menschen darstellt und keine soziale Verantwortung und ethische Herausforderung darstellt.
Dieses Forschungsergebnis ist ein Meilenstein auf dem Gebiet der Sicherheit künstlicher Intelligenz. Es zeigt nicht nur die potenziellen Risiken von KI-Modellen auf, sondern bietet vor allem wirksame Lösungen und Bewertungsmethoden. In Zukunft ist eine globale Zusammenarbeit erforderlich, um die Überwachung der Technologie der künstlichen Intelligenz zu stärken, um ihre gesunde Entwicklung sicherzustellen und der menschlichen Gesellschaft Vorteile statt potenzieller Bedrohungen zu bringen. Nur so können die nachhaltige Entwicklung und die sinnvolle Anwendung der Technologie der künstlichen Intelligenz wirklich verwirklicht werden.