Este artigo analisa informações vazadas de documentos internos da Meta, revelando a intensidade da competição interna da Meta e seu forte desejo de superar o OpenAI GPT-4 durante o desenvolvimento do grande modelo Llama3. A informação vem de uma ação judicial sobre direitos autorais de inteligência artificial. Os documentos abertos pelo tribunal mostram as discussões internas e os processos de tomada de decisão dos executivos da Meta em termos de aquisição de dados, melhoria de desempenho do modelo e comparação com concorrentes, destacando sua busca por pressões e. desafios para a liderança tecnológica.
Recentemente, foram divulgados e-mails internos da empresa Meta sobre o desenvolvimento do Llama3, que revelaram os esforços e dificuldades enfrentados pelos executivos da empresa para superar o modelo GPT-4 da OpenAI. No e-mail, os executivos da Meta expressaram um forte desejo de superar os concorrentes e buscar ativamente maneiras de melhorar o desempenho do modelo, mesmo correndo o risco de usar dados protegidos por direitos autorais. No entanto, esta pressa também levou a ações judiciais de direitos autorais. Embora o Llama3 tenha sido finalmente lançado e alcançado bons resultados, havia uma enorme pressão e riscos escondidos por trás dele. Através da divulgação destes documentos internos, podemos obter uma compreensão mais profunda da intensidade da concorrência entre as grandes empresas tecnológicas no domínio da inteligência artificial, bem como das estratégias que adotam e dos desafios que enfrentam na procura da liderança tecnológica.
Embora a Meta libere modelos abertos de IA, a liderança da empresa em IA está aparentemente mais focada em concorrentes que não divulgam pesos de modelo, como Anthropic e OpenAI, e consideram seu Claude e GPT-4 como padrões de trabalho. Embora a startup francesa de IA Mistral tenha sido mencionada muitas vezes, os executivos da Meta parecem desconsiderar a sua avaliação. “Mistral é moleza para nós e deveríamos ser capazes de fazer melhor”, disse Al-Dah na mensagem.
No campo da IA, grandes empresas estão competindo para lançar modelos avançados de IA, e estes documentos judiciais mostram a alta tensão da Meta nesta competição. Em várias mensagens, os líderes de IA da Meta mencionaram que estavam “muito ativos” na obtenção dos dados necessários para treinar o Llama. Um executivo chegou a dizer: “O Llama3 é a única coisa que me interessa”. Eles discutiram como melhorar o conjunto de dados para melhorar o desempenho do Llama3.
No entanto, os promotores do caso alegaram que os executivos da Meta podem ter cometido omissões no uso de dados em sua pressa para lançar modelos de IA, envolvendo alguns livros protegidos por direitos autorais. Touvron mencionou que a combinação do conjunto de dados do Llama2 “não funcionou bem” e discutiu como o Llama3 poderia ser melhorado com melhores fontes de dados. Al-Dah perguntou: "Temos o conjunto de dados correto? Existe alguma coisa que não possamos usar por motivos estúpidos?"
O CEO da Meta, Mark Zuckerberg, já expressou esforços para reduzir a lacuna de desempenho entre o modelo Llama e os modelos de código fechado da OpenAI, Google e outras empresas. Estas fontes internas revelam que a Meta está sob intensa pressão para perseguir este objectivo. Zuckerberg mencionou em uma carta de julho de 2024: “Este ano, o Llama3 é competitivo entre os modelos mais avançados e lidera em algumas áreas”.
Em abril de 2024, Meta finalmente lançou o Llama3. Este modelo aberto de IA teve um bom desempenho na competição, superando as opções abertas do Mistral, mas os dados usados para treinar o modelo – os dados foram supostamente obtidos por Zuckerberg. ações judiciais.
Destaque:
Meta executivos se concentraram em superar o modelo GPT-4 da OpenAI durante o desenvolvimento do Llama3.
A empresa tem sido agressiva na aquisição de dados, mas enfrentou acusações de uso de dados com restrição de direitos autorais.
Zuckerberg espera que os futuros modelos Llama sejam as opções mais avançadas do setor.
Em suma, o processo de desenvolvimento do Llama3 pela Meta reflete a competição acirrada no campo da inteligência artificial e também expõe os riscos legais e éticos que podem ser enfrentados na busca por velocidade e liderança. No futuro, como equilibrar o desenvolvimento tecnológico e a conformidade tornar-se-á uma questão importante na indústria da inteligência artificial.