OpenAI y DeepMind, los dos gigantes de la inteligencia artificial, tienen diferencias significativas en sus investigaciones sobre las leyes de escalado (Scaling Laws) de grandes modelos de lenguaje (LLM). Scaling Laws tiene como objetivo predecir el impacto de los cambios en los parámetros del modelo, el volumen de datos y el volumen de cálculo en el rendimiento del modelo. Los resultados de su investigación afectarán profundamente la dirección del desarrollo futuro de la inteligencia artificial y tendrán un profundo impacto en el futuro de la coexistencia entre humanos y máquinas. Este artículo explorará en profundidad las diferentes perspectivas, métodos y contribuciones respectivas de las dos empresas en la investigación de las leyes de escalamiento y presentará brevemente los avances relevantes de la investigación nacional.
OpenAI y DeepMind tienen diferentes puntos de vista y métodos en la investigación de las leyes de escala. Las leyes de escala pueden predecir los cambios de pérdida de modelos grandes cuando cambia la cantidad de parámetros, datos y cálculos. Su competencia promoverá el desarrollo de la inteligencia artificial y afectará el futuro de la convivencia entre humanos y máquinas. En el proceso de preentrenamiento de modelos de lenguaje grandes, existe un equilibrio entre el tamaño del modelo, el volumen de datos y el costo de entrenamiento. Las leyes de escala pueden ayudar a optimizar las decisiones de diseño. DeepMind propone que el tamaño del modelo y el volumen de datos deben escalar en proporciones iguales, mientras que OpenAI prefiere modelos más grandes. DeepMind desarrolló AlphaGo y AlphaFold, demostrando el potencial del aprendizaje por refuerzo profundo y las redes neuronales, mientras que OpenAI desarrolló la serie de modelos GPT, demostrando capacidades extraordinarias en modelos generativos. La conclusión de la investigación muestra que los tres factores que afectan el rendimiento del modelo interactúan entre sí y el modelo Chinchilla de DeepMind funciona de manera excelente. La inteligencia nacional de Baichuan y el modelo grande de Mingde también han contribuido a la investigación sobre las leyes de escala. DeepMind propuso el método de clasificación de Niveles de AGI, revelando las diferentes etapas de desarrollo de la inteligencia artificial.La competencia entre OpenAI y DeepMind en la investigación de Scaling Laws no solo promueve el desarrollo de tecnología de inteligencia artificial, sino que también proporciona una valiosa experiencia para el diseño y optimización de futuros grandes modelos. Las diferentes vías de investigación y los resultados de ambas partes han construido conjuntamente un sistema de conocimiento más rico y completo en el campo de la inteligencia artificial, que en última instancia beneficiará a toda la industria y la sociedad.