OpenAI и DeepMind, два гиганта искусственного интеллекта, имеют существенные различия в своих исследованиях законов масштабирования (Scaling Laws) больших языковых моделей (LLM). Целью Scaling Laws является прогнозирование влияния изменений параметров модели, объема данных и объема вычислений на производительность модели. Результаты ее исследований окажут глубокое влияние на будущее направление развития искусственного интеллекта и окажут глубокое влияние на будущее сосуществования человека и машины. В этой статье будут подробно рассмотрены различные точки зрения, методы и соответствующий вклад двух компаний в исследования законов масштабирования, а также кратко представлен прогресс соответствующих отечественных исследований.
OpenAI и DeepMind придерживаются разных взглядов и методов исследования законов масштабирования. Законы масштабирования могут предсказывать изменения потерь в больших моделях при изменении количества параметров, данных и вычислений. Их конкуренция будет способствовать развитию искусственного интеллекта и повлияет на будущее сосуществования человека и машины. В процессе предварительного обучения больших языковых моделей существует компромисс между размером модели, объемом данных и стоимостью обучения. Законы масштабирования могут помочь оптимизировать проектные решения. DeepMind предлагает, чтобы размер модели и объем данных масштабировались в равных пропорциях, в то время как OpenAI предпочитает более крупные модели. DeepMind разработала AlphaGo и AlphaFold, продемонстрировав потенциал глубокого обучения с подкреплением и нейронных сетей, а OpenAI разработала серию моделей GPT, продемонстрировав исключительные возможности генеративных моделей. Выводы исследования показывают, что три фактора, влияющие на производительность модели, взаимодействуют друг с другом, и модель Chinchilla от DeepMind работает превосходно. Внутренняя разведка Байчуань и Большая модель Миндэ также внесли свой вклад в исследование законов масштабирования. DeepMind предложил метод классификации «Уровни AGI», раскрывающий различные этапы развития искусственного интеллекта.Конкуренция между OpenAI и DeepMind в исследованиях законов масштабирования не только способствует развитию технологий искусственного интеллекта, но и дает ценный опыт для проектирования и оптимизации будущих больших моделей. Различные направления исследований и результаты обеих сторон совместно создали более богатую и всеобъемлющую систему знаний в области искусственного интеллекта, которая в конечном итоге принесет пользу всей отрасли и обществу.