OpenAI e DeepMind, os dois gigantes da inteligência artificial, têm diferenças significativas em suas pesquisas sobre leis de escala (Scaling Laws) de grandes modelos de linguagem (LLM). As Leis de Escala visam prever o impacto das mudanças nos parâmetros do modelo, no volume de dados e no volume de cálculo no desempenho do modelo. Os resultados de sua pesquisa afetarão profundamente a direção do desenvolvimento futuro da inteligência artificial e terão um impacto profundo no futuro da coexistência homem-máquina. Este artigo explorará profundamente as diferentes perspectivas, métodos e respectivas contribuições das duas empresas na pesquisa das Leis de Escala, e apresentará brevemente o progresso relevante da pesquisa nacional.
OpenAI e DeepMind têm visões e métodos diferentes na pesquisa das Leis de Escala. As Leis de Escala podem prever as mudanças nas perdas de grandes modelos quando a quantidade de parâmetros, dados e cálculos mudam. A sua competição promoverá o desenvolvimento da inteligência artificial e afetará o futuro da coexistência homem-máquina. No processo de pré-treinamento de grandes modelos de linguagem, existe um compromisso entre tamanho do modelo, volume de dados e custo de treinamento. As Leis de Escala podem ajudar a otimizar as decisões de projeto. A DeepMind propõe que o tamanho do modelo e o volume de dados sejam dimensionados em proporções iguais, enquanto a OpenAI prefere modelos maiores. A DeepMind desenvolveu o AlphaGo e o AlphaFold, demonstrando o potencial do aprendizado por reforço profundo e das redes neurais, enquanto a OpenAI desenvolveu a série de modelos GPT, demonstrando capacidades extraordinárias em modelos generativos. A conclusão da pesquisa mostra que os três fatores que afetam o desempenho do modelo interagem entre si, e o modelo Chinchilla da DeepMind tem um desempenho excelente. A Inteligência Doméstica de Baichuan e o Grande Modelo Mingde também contribuíram para a pesquisa sobre Leis de Escala. DeepMind propôs o método de classificação Níveis de AGI, revelando os diferentes estágios de desenvolvimento da inteligência artificial.A competição entre OpenAI e DeepMind na pesquisa de Scaling Laws não apenas promove o desenvolvimento de tecnologia de inteligência artificial, mas também fornece experiência valiosa para o design e otimização de futuros grandes modelos. Os diferentes caminhos de investigação e resultados de ambas as partes construíram conjuntamente um sistema de conhecimento mais rico e abrangente no domínio da inteligência artificial, que acabará por beneficiar toda a indústria e sociedade.