Kürzlich hat TechCrunch interne Dokumente von Google offengelegt, aus denen hervorgeht, dass Google Auftragnehmer einsetzt, um seine Gemini-KI und die Claude-KI von Anthropic zu vergleichen und zu testen, was Kontroversen über die Einhaltung der Vorschriften auslöste. Das Dokument zeigt, dass der Auftragnehmer die Qualität der Antworten der beiden KIs anhand mehrerer Kriterien bewerten muss und lobt Claudes Sicherheit sehr. Dieser Schritt verstößt möglicherweise gegen die Nutzungsbedingungen von Anthropic, da Google ein wichtiger Investor von Anthropic ist und die Bedingungen die unbefugte Nutzung von Claude zur Entwicklung konkurrierender Produkte oder zum Training konkurrierender KI-Modelle verbieten.
Laut internen Mitteilungen von TechCrunch lässt Google seine Gemini-KI von Auftragnehmern mit Claude von Anthropic vergleichen, was Compliance-Fragen aufwirft.
Aus dem Dokument geht hervor, dass der für die Verbesserung von Gemini verantwortliche Auftragnehmer innerhalb von 30 Minuten die Qualität der Antworten von Gemini und Claude anhand mehrerer Kriterien wie Authentizität und Gründlichkeit vergleichen und bewerten muss. Auftragnehmer entdeckten kürzlich explizite Verweise auf Claude auf der internen Bewertungsplattform von Google, darunter die Worte „Ich bin Claude, erstellt von Anthropic“.
Interne Diskussionen ergaben, dass die Auftragnehmer Claudes strengere Sicherheitspraktiken bemerkten. Ein Auftragnehmer sagte: „Claudes Sicherheitseinstellungen sind die strengsten aller KI-Modelle.“ In einigen Fällen, in denen Geminis Antworten als „schwerwiegende Sicherheitsverstöße“ eingestuft wurden, weil sie „Nacktheit und Zurückhaltung“ beinhalteten, weigerte sich Claude einfach, auf entsprechende Aufforderungen zu reagieren.
Es ist erwähnenswert, dass der Ansatz von Google als Hauptinvestor von Anthropic möglicherweise gegen die Nutzungsbedingungen von Anthropic verstößt. Die Bedingungen verbieten ausdrücklich den unbefugten Zugriff auf Claude, um „konkurrierende Produkte zu bauen“ oder „konkurrierende KI-Modelle zu trainieren“. Auf die Frage, ob es von Anthropic autorisiert worden sei, lehnte Google DeepMind-Sprecherin Shira McNamara eine direkte Antwort ab.
McNamara sagte, dass DeepMind zwar „Modellergebnisse zur Bewertung vergleicht“, er jedoch bestritt, das Anthropic-Modell zum Trainieren von Gemini zu verwenden. „Dies entspricht der branchenüblichen Praxis“, sagte sie, „aber jede Behauptung, wir hätten anthropische Modelle verwendet, um Zwillinge zu trainieren, ist unzutreffend.“
Zuvor hatte Google von Auftragnehmern für KI-Produkte verlangt, die Antworten von Gemini außerhalb seiner Fachgebiete zu bewerten, was bei den Auftragnehmern Bedenken hervorrief, dass KI in sensiblen Bereichen wie dem Gesundheitswesen ungenaue Informationen liefern könnte.
Zum Zeitpunkt der Drucklegung hatte sich ein Anthropic-Sprecher nicht zu der Angelegenheit geäußert.
Googles Vergleichstest von Gemini und Claude hat große Aufmerksamkeit erregt, und seine Compliance-Probleme und Auswirkungen auf die KI-Branche bedürfen noch weiterer Beobachtung. Die Antwort von Google hat die Bedenken nicht vollständig ausgeräumt, die offizielle Antwort von Anthropic wurde noch nicht veröffentlicht und der Vorfall ist noch nicht abgeschlossen.