OpenAI et DeepMind, les deux géants de l'intelligence artificielle, présentent des différences significatives dans leurs recherches sur les lois d'échelle (Scaling Laws) des grands modèles de langage (LLM). Scaling Laws vise à prédire l'impact des changements dans les paramètres du modèle, le volume de données et le volume de calcul sur les performances du modèle. Ses résultats de recherche affecteront profondément l'orientation future du développement de l'intelligence artificielle et auront un impact profond sur l'avenir de la coexistence homme-machine. Cet article explorera en profondeur les différentes perspectives, méthodes et contributions respectives des deux sociétés dans la recherche sur les lois sur l'échelle, et présentera brièvement les progrès de la recherche nationale pertinents.
OpenAI et DeepMind ont des points de vue et des méthodes différents dans la recherche sur les lois de mise à l'échelle. Les lois de mise à l'échelle peuvent prédire les changements de perte des grands modèles lorsque la quantité de paramètres, de données et de calculs change. Leur concurrence favorisera le développement de l’intelligence artificielle et affectera l’avenir de la coexistence homme-machine. Dans le processus de pré-formation des grands modèles de langage, il existe un compromis entre la taille du modèle, le volume de données et le coût de formation. Les lois de mise à l'échelle peuvent aider à optimiser les décisions de conception. DeepMind propose que la taille du modèle et le volume de données évoluent dans des proportions égales, tandis qu'OpenAI préfère les modèles plus grands. DeepMind a développé AlphaGo et AlphaFold, démontrant le potentiel de l'apprentissage par renforcement profond et des réseaux neuronaux, tandis qu'OpenAI a développé la série de modèles GPT, démontrant des capacités extraordinaires en matière de modèles génératifs. La conclusion de la recherche montre que les trois facteurs qui affectent les performances du modèle interagissent les uns avec les autres et que le modèle Chinchilla de DeepMind fonctionne parfaitement. Domestic Baichuan Intelligence et Mingde Large Model ont également contribué à la recherche sur les lois de mise à l'échelle. DeepMind a proposé la méthode de classification Levels of AGI, révélant les différentes étapes de développement de l'intelligence artificielle.La concurrence entre OpenAI et DeepMind dans la recherche sur les lois de mise à l'échelle favorise non seulement le développement de la technologie de l'intelligence artificielle, mais fournit également une expérience précieuse pour la conception et l'optimisation des futurs grands modèles. Les différents parcours de recherche et résultats des deux parties ont construit conjointement un système de connaissances plus riche et plus complet dans le domaine de l'intelligence artificielle, qui bénéficiera à terme à l'ensemble de l'industrie et de la société.