Медленный прогресс проекта OpenAI GPT-5 (под кодовым названием Orion) вызвал широкое беспокойство в отрасли по поводу будущего направления развития крупномасштабных языковых моделей. По имеющимся данным, хотя GPT-5 работает лучше, чем существующие модели, его усовершенствования недостаточно для покрытия огромных затрат на исследования и разработки. Что еще более важно, отсутствие глобальных данных стало основным узким местом, мешающим GPT-5 продолжать повышать уровень своего интеллекта. В этой статье будут глубоко изучены технические проблемы, внутренние трудности, с которыми столкнулся проект GPT-5, и вытекающие из этого размышления об узких местах разработки ИИ.
Громкий проект GPT-5 (под кодовым названием «Орион») находился в разработке более 18 месяцев, но так и не был выпущен. Согласно последнему отчету Wall Street Journal, люди, знакомые с этим вопросом, показали, что, хотя производительность Orion лучше, чем у существующей модели OpenAI, ее усовершенствований недостаточно, чтобы оправдать продолжение инвестиций в огромные затраты. Еще большее беспокойство вызывает то, что отсутствие глобальных данных может стать самым большим препятствием для GPT-5 на пути к более высокому уровню интеллекта.
Говорят, что GPT-5 прошел как минимум два тренинга, и каждый тренинг выявил новые проблемы и не оправдал ожиданий исследователей. Каждый раунд обучения занимает несколько месяцев, а одни только вычислительные затраты достигают 500 миллионов долларов. Пока неясно, будет ли проект успешным и когда.
Дорога к обучению полна трудностей: появляются узкие места в данных
С момента выпуска GPT-4 в марте 2023 года OpenAI начала разработку GPT-5. Обычно возможности модели ИИ увеличиваются по мере увеличения объема данных, которые она поглощает. Процесс обучения требует огромных объемов данных, занимает месяцы и опирается на большое количество дорогих вычислительных чипов. Генеральный директор OpenAI Альтман однажды сообщил, что стоимость обучения только GPT-4 превышает 100 миллионов долларов США, а стоимость обучения моделей ИИ в будущем, как ожидается, превысит 1 миллиард долларов США.
Чтобы снизить риски, OpenAI обычно сначала проводит небольшой пробный запуск, чтобы проверить осуществимость модели. Однако разработка GPT-5 с самого начала столкнулась с проблемами. В середине 2023 года OpenAI запустила экспериментальное обучение под названием «Арракис», предназначенное для проверки новой конструкции GPT-5. Однако прогресс в обучении идет медленно и дорого, а результаты экспериментов показывают, что разработка GPT-5 является более сложной и трудной, чем первоначально ожидалось.
Поэтому исследовательская группа OpenAI решила внести ряд технических корректировок в Orion и поняла, что существующие общедоступные данные Интернета больше не могут отвечать потребностям модели. Чтобы улучшить производительность GPT-5, им срочно необходимо больше типов и данных более высокого качества.
«Создание данных с нуля»: борьба с нехваткой данных
Чтобы решить проблему нехватки данных, OpenAI решила «создать данные с нуля». Они нанимают инженеров-программистов и математиков для написания нового программного кода или решения математических задач и позволяют Ориону учиться на этих задачах. OpenAI также позволяет этим экспертам объяснять свои рабочие процессы, превращая человеческий интеллект в знания, обучаемые компьютером.
Многие исследователи полагают, что код как язык программного обеспечения может помочь крупным моделям решать проблемы, с которыми они раньше не сталкивались. Генеральный директор Turing Джонатан Сиддхарт заявил: «Мы переносим человеческий интеллект из человеческого мозга в машинный мозг».
OpenAI даже работает с экспертами в таких областях, как теоретическая физика, позволяя им объяснять, как решать сложные проблемы в своих областях. Однако этот подход «создания данных с нуля» не очень эффективен. Данные обучения GPT-4 составляют около 13 триллионов токенов. Даже если 1000 человек будут писать 5000 слов в день, для производства 1 миллиарда токенов потребуется несколько месяцев.
Чтобы ускорить обучение, OpenAI также пытается использовать «синтетические данные», генерируемые ИИ. Однако исследования показали, что петля обратной связи, в которой данные, сгенерированные ИИ, повторно используются для обучения ИИ, иногда приводит к тому, что модель совершает ошибки или генерирует бессмысленные ответы. В связи с этим ученые OpenAI считают, что этих проблем можно избежать, используя данные, генерируемые o1.
Внутренние и внешние проблемы: OpenAI сталкивается с множеством проблем
OpenAI сталкивается не только с техническими проблемами, но и с внутренними беспорядками и переманиванием со стороны конкурентов. В то же время усиливается двойное давление со стороны технологий и финансов. Каждая тренировка стоит до 500 миллионов долларов, а окончательная стоимость обучения, вероятно, превысит 1 миллиард долларов. В то же время такие конкуренты, как Anthropic и Google, также запускают модели нового поколения, пытаясь догнать OpenAI.
Утечка мозгов и внутренние разногласия еще больше замедлили развитие. В прошлом году совет директоров OpenAI внезапно уволил Альтмана, что заставило некоторых исследователей усомниться в будущем компании. Хотя Альтмана быстро переназначили на пост генерального директора и он приступил к обновлению структуры управления компании, с самого начала были заменены более 20 ключевых руководителей, исследователей и долгосрочных руководителей, в том числе соучредитель и главный научный сотрудник Илья Суцкевер и глава технологического отдела Мира Мурати. В этом году сотрудники уходят один за другим.
Поскольку продвижение проекта «Орион» застопорилось, OpenAI начала разработку других проектов и приложений, включая упрощенную версию GPT-4 и продукт для генерации видео с использованием искусственного интеллекта Sora. Но это привело к ожесточенной конкуренции между различными командами за ограниченные вычислительные ресурсы, особенно между командой разработчиков нового продукта и исследовательской группой Orion.
Узкое место в разработке искусственного интеллекта? Отрасль сталкивается с глубокими размышлениями?
Затруднительное положение GPT-5 может выявить более масштабное предложение отрасли: приближается ли ИИ к «периоду узкого места» в развитии? Инсайдеры отрасли отмечают, что стратегии, основанные на массивных данных и более крупных моделях, постепенно становятся неэффективными? Бывший учёный OpenAI Сузквер однажды сказал, что «у нас только один Интернет», рост объёмов данных замедляется, а «ископаемое топливо», способствующее скачку в сфере ИИ, постепенно иссякает.
Альтман никогда не давал четкого графика будущего GPT-5. Мы до сих пор точно не знаем, когда и выпустит ли OpenAI модель, достойную названия GPT-5. Эта дилемма относительно GPT-5 также заставила людей задуматься о будущем направлении развития ИИ.
Стагнация проекта GPT-5 не только влияет на развитие самого OpenAI, но и бьет тревогу для всей индустрии искусственного интеллекта, предполагая, что путь опоры исключительно на масштаб данных и размер модели, возможно, подошел к концу, и в будущем Развитие ИИ требует изучения новых подходов и технологических прорывов.