Recentemente, houve relatos de que o Google está usando o modelo Claude da Anthropic para melhorar seu projeto de inteligência artificial Gemini. Documentos internos mostram que os contratantes do Google estão comparando sistematicamente os resultados da Gemini e do Claude para avaliar e melhorar o desempenho da Gemini. Esta abordagem atraiu a atenção da indústria e também envolve normas da indústria para avaliação de modelos de IA e questões éticas na cooperação técnica entre diferentes empresas. Este artigo irá aprofundar os detalhes deste incidente e analisar seu impacto potencial.
Recentemente, o projeto de inteligência artificial Gemini do Google está melhorando seu desempenho comparando seus resultados com o modelo Claude da Anthropic. De acordo com comunicações internas obtidas pelo TechCrunch, a empresa responsável pela melhoria do Gemini está avaliando sistematicamente as respostas dos dois modelos de IA.
Na indústria de IA, a avaliação do desempenho do modelo geralmente é feita por meio de benchmarks do setor, em vez de os contratantes compararem as respostas de diferentes modelos, uma por uma. O empreiteiro responsável pelo Gemini precisa pontuar o resultado do modelo com base em vários critérios, incluindo autenticidade e nível de detalhe. Eles tiveram até 30 minutos de cada vez para decidir qual resposta era melhor, a de Gêmeos ou a de Claude.
Recentemente, esses contratantes notaram referências a Claude aparecendo com frequência nas plataformas internas que utilizam. Parte do que foi mostrado aos empreiteiros afirmava claramente: “Eu sou Claude criado pela Anthropic”. Em um bate-papo interno, os empreiteiros também descobriram que as respostas de Claude eram mais focadas em segurança. Alguns empreiteiros apontaram que as configurações de segurança de Claude são as mais rigorosas entre todos os modelos de IA. Em alguns casos, Claude optará por não responder a solicitações que considere inseguras, como interpretar outros assistentes de IA. Em outro caso, Claude evitou uma resposta e a resposta de Gêmeos foi sinalizada como uma “grave violação de segurança” por conter “nudez e escravidão”.
Deve-se notar que os termos de serviço comercial da Anthropic proíbem os clientes de usar Claude para “construir produtos ou serviços concorrentes” ou “treinar modelos de IA concorrentes” sem autorização. O Google é um dos maiores investidores da Antrópico.
Em entrevista ao TechCrunch, a porta-voz do Google DeepMind, Shira McNamara, não revelou se o Google recebeu aprovação da Anthropic para usar Claude. McNamara disse que DeepMind compara os resultados do modelo para avaliação, mas não treina Gemini no modelo Claude. “É claro que, como é prática padrão da indústria, compararemos os resultados do modelo em alguns casos”, disse ela. “No entanto, qualquer sugestão de que usamos o modelo Antrópico para treinar o Gemini é imprecisa”.
Na semana passada, o TechCrunch também informou com exclusividade que os contratados do Google foram solicitados a avaliar as respostas de IA do Gemini em áreas fora de suas áreas de especialização. Alguns empreiteiros expressaram preocupações em comunicações internas de que a Gemini pudesse gerar informações imprecisas sobre temas delicados, como cuidados de saúde.
Destaque:
Gemini está conduzindo testes comparativos com Claude para melhorar o desempenho de seu próprio modelo de IA.
Os empreiteiros são responsáveis pela pontuação e as suas respostas são comparadas segundo vários critérios, incluindo autenticidade e segurança.
A Antrópica proíbe o uso não autorizado de Claude para treinamento de modelos competitivos.
O uso do modelo Claude pelo Google para melhorar o comportamento de Gemini desencadeou discussões sobre métodos de avaliação de modelos de IA, ética no uso de dados e relacionamentos competitivos. No futuro, merece mais atenção se comparações semelhantes de modelos de IA entre empresas se tornarão a norma na indústria e como regular tal comportamento. Isto terá um impacto profundo no desenvolvimento e regulamentação da indústria de IA.