Anthropic hat einen ehrgeizigen Plan zur Finanzierung der Entwicklung neuer KI-Modell-Benchmarks angekündigt. Das Programm zielt darauf ab, die Bewertung der Leistung und Wirkung von KI-Modellen zu verbessern, wobei wichtige Aspekte wie KI-Sicherheit und soziale Auswirkungen besonders berücksichtigt werden. Mit diesem Schritt sollen Mängel bestehender Benchmarks behoben werden, beispielsweise deren Unfähigkeit, reale Anwendungsszenarien effektiv zu erfassen, und ihr Versäumnis, das, was sie angeblich messen, genau zu messen. Anthropic fordert die Entwicklung anspruchsvollerer Benchmark-Tests, um die Fähigkeiten von KI-Modellen bei Cyberangriffen, Waffenverbesserungen, Informationsmanipulation usw. zu bewerten und das Potenzial von KI in der wissenschaftlichen Forschung, der mehrsprachigen Kommunikation und anderen Bereichen zu erkunden. Dies wird dazu beitragen, die Fähigkeiten und Risiken der KI umfassender zu verstehen und die Entwicklung des Bereichs der KI-Sicherheit voranzutreiben.
Anthropic wird Drittorganisationen finanziell unterstützen, um sie zu ermutigen, effektivere Bewertungsmethoden zu entwickeln. Dieses Programm spiegelt das Engagement von Anthropic wider, den gesamten Bereich der KI-Sicherheit zu verbessern und eine umfassende KI-Bewertung als Industriestandard zu fördern. Angesichts der eigenen Geschäftsinteressen von Anthropic muss die Objektivität und Fairness seines Plans jedoch noch weiter geprüft werden. Der Erfolg des Programms wird in Zukunft von der Investition von Geldern und Personen sowie vom Grad der Zusammenarbeit mit anderen relevanten Organisationen abhängen.