Récemment, il a été rapporté que Google utilisait le modèle Claude d'Anthropic pour améliorer son projet d'intelligence artificielle Gemini. Des documents internes montrent que les sous-traitants de Google comparent systématiquement les résultats de Gemini et de Claude pour évaluer et améliorer les performances de Gemini. Cette approche a attiré l'attention de l'industrie et implique également des normes industrielles pour l'évaluation des modèles d'IA et des questions éthiques dans la coopération technique entre différentes entreprises. Cet article approfondira les détails de cet incident et analysera son impact potentiel.
Récemment, le projet d'intelligence artificielle Gemini de Google a amélioré ses performances en comparant ses résultats avec le modèle Claude d'Anthropic. Selon les communications internes obtenues par TechCrunch, l'entrepreneur chargé d'améliorer Gemini évalue systématiquement les réponses des deux modèles d'IA.
Dans l'industrie de l'IA, l'évaluation des performances des modèles est généralement effectuée à l'aide de références industrielles, plutôt que de demander aux entrepreneurs de comparer les réponses des différents modèles une par une. L'entrepreneur responsable de Gemini doit évaluer les résultats du modèle en fonction de plusieurs critères, notamment l'authenticité et le niveau de détail. Ils avaient jusqu'à 30 minutes à chaque fois pour décider quelle réponse était la meilleure, celle de Gémeaux ou celle de Claude.
Récemment, ces entrepreneurs ont remarqué que des références à Claude apparaissaient fréquemment sur les plateformes internes qu'ils utilisent. Une partie de ce qui a été montré aux entrepreneurs indiquait clairement : "Je suis Claude créé par Anthropic". Lors d'une conversation interne, les entrepreneurs ont également constaté que les réponses de Claude étaient davantage axées sur la sécurité. Certains entrepreneurs ont souligné que les paramètres de sécurité de Claude sont les plus stricts parmi tous les modèles d'IA. Dans certains cas, Claude choisira de ne pas répondre aux invites qu'il juge dangereuses, comme jouer un rôle avec d'autres assistants IA. Dans un autre cas, Claude a évité une invite et la réponse de Gemini a été signalée comme une « violation majeure de la sécurité » pour avoir contenu « de la nudité et du bondage ».
Il convient de noter que les conditions commerciales du service Anthropic interdisent aux clients d'utiliser Claude pour « créer des produits ou services concurrents » ou « former des modèles d'IA concurrents » sans autorisation. Google est l'un des principaux investisseurs d'Anthropic.
Dans une interview avec TechCrunch, la porte-parole de Google DeepMind, Shira McNamara, n'a pas révélé si Google avait reçu l'approbation d'Anthropic pour utiliser Claude. McNamara a déclaré que DeepMind compare les sorties du modèle à des fins d'évaluation, mais ne forme pas Gemini sur le modèle Claude. "Bien sûr, comme c'est la pratique courante dans l'industrie, nous comparerons les résultats du modèle dans certains cas", a-t-elle déclaré. "Cependant, toute suggestion selon laquelle nous avons utilisé le modèle Anthropic pour former Gemini est inexacte."
La semaine dernière, TechCrunch a également rapporté en exclusivité que les sous-traitants de Google avaient été invités à évaluer les réponses de l'IA de Gemini dans des domaines en dehors de leurs domaines d'expertise. Certains entrepreneurs ont exprimé leurs inquiétudes dans leurs communications internes quant au fait que Gemini pourrait générer des informations inexactes sur des sujets sensibles tels que les soins de santé.
Points forts:
Gemini mène des tests comparatifs avec Claude pour améliorer les performances de son propre modèle d'IA.
L'entrepreneur est responsable de la notation et les réponses des deux sont comparées sur plusieurs critères, notamment l'authenticité et la sécurité.
Anthropic interdit l'utilisation non autorisée de Claude pour la formation de modèles compétitifs.
L'utilisation par Google du modèle Claude pour améliorer le comportement des Gémeaux a déclenché des discussions sur les méthodes d'évaluation des modèles d'IA, l'éthique de l'utilisation des données et les relations concurrentielles. À l’avenir, il convient de se demander si des comparaisons similaires de modèles d’IA entre entreprises deviendront la norme dans l’industrie et comment réglementer un tel comportement. Cela aura un impact profond sur le développement et la réglementation de l’industrie de l’IA.