Не только долгожданная модель следующего поколения OpenAI Orion, но и Anthropic, еще один звездный стартап в области искусственного интеллекта (ИИ), который является конкурентом Google и OpenAI, также сообщил, что разработка передовых моделей ИИ столкнулась с узкими местами.
В среду, 13 ноября по восточному времени, агентство Bloomberg сообщило, что OpenAI завершила первый раунд обучения Orion в сентябре этого года, надеясь, что он значительно превзойдет некоторые предыдущие версии и приблизится к цели - превзойти ИИ человека, сославшись на двух человек, знакомых с Но в конце лета модель работала плохо, пытаясь ответить на вопросы по программированию.
Люди, знакомые с этим вопросом, отметили, что в целом по сравнению с производительностью GPT-4 за пределами GPT-3.5 существующие модели Orion и OpenAI не добились такого большого прогресса.
В отчете также процитированы слова трех других людей, знакомых с этим вопросом, которые заявили, что предстоящая новая версия Gemini от Google не оправдала внутренних ожиданий, а Anthropic также отложила запланированный выпуск модели Claude, известной как 3.5 Opus.
В отчете говорится, что три вышеупомянутые компании сталкиваются с множеством проблем при разработке моделей искусственного интеллекта. Им становится все труднее найти неиспользованные высококачественные данные искусственного обучения. Например, неудовлетворительная производительность кодирования Orion частично связана с отсутствием достаточного количества данных кодирования для обучения. Даже скромного улучшения характеристик модели может быть недостаточно, чтобы оправдать огромные затраты на создание и эксплуатацию новой модели или оправдать ожидания серьезного обновления.
Проблема «узких мест» в разработке моделей ИИ бросает вызов закону масштабирования, который считается руководящим принципом для многих стартапов и даже технологических гигантов. Она также ставит под сомнение целесообразность масштабных инвестиций в ИИ для достижения общего искусственного интеллекта (ИИ).
Wall Street News однажды упомянула, что закон, предложенный OpenAI еще в 2020 году, означает, что конечная производительность большой модели в основном связана с объемом вычислений, количеством параметров модели и объемом обучающих данных, а также связана с конкретная структура (слой) модели (количество/глубина/ширина) принципиально не имеют значения. В июле этого года главный технический директор (CTO) Microsoft Кевин Скотт также выступил в защиту этого закона, заявив, что закон о масштабировании по-прежнему применим к нынешней отрасли — при расширении больших моделей предельные выгоды не уменьшаются. По совпадению, на прошлой неделе средства массовой информации сообщили о том, что OpenAI обнаружила, что Orion «не совершил такого большого скачка», и прогресс был гораздо меньшим, чем у двух предыдущих поколений флагманских моделей. Это открытие напрямую бросает вызов закону масштабирования, который применяется в области искусственного интеллекта. Из-за уменьшения количества высококачественных обучающих данных и увеличения вычислительных затрат исследователям OpenAI пришлось начать изучать, есть ли другие способы улучшить производительность модели.OpenAI, например, встраивает в свои модели больше возможностей написания кода и пытается разработать программное обеспечение, которое могло бы взять на себя управление ПК для выполнения действий веб-браузера или задач приложений путем щелчков мышью, движений курсора и других действий.
OpenAI также создала специальную команду во главе с Ником Райдером, который ранее отвечал за предварительное обучение, чтобы изучить, как оптимизировать ограниченные данные обучения и скорректировать применение методов расширения для поддержания стабильности улучшения модели.
Что касается отчета Bloomberg в среду, представитель Google DeepMind заявил, что компания «довольна прогрессом Gemini, и мы поделимся дополнительной информацией, когда она будет готова», OpenAI отказалась от комментариев. Anthropic также отказалась от комментариев, но сослалась на публикацию в блоге, опубликованную в понедельник, в которой генеральный директор Anthropic Дарио Амодей выступил во время пятичасового подкаста.
Амодель сказала, что то, что люди называют законом масштабирования, — это неправильное название. Это не универсальный закон, а эмпирический закон. Амодель ожидает, что законы масштабирования продолжат существовать, но не уверена. Он сказал, что есть «много вещей», которые могут «сорвать» прогресс на пути к более мощному искусственному интеллекту в ближайшие годы, в том числе «у нас могут закончиться данные», но он надеется, что компании, занимающиеся искусственным интеллектом, найдут способ преодолеть любые препятствия.
Что касается отчета Bloomberg, Носсон Вайсман, основатель NossonAI, компании, которая предоставляет индивидуальные решения искусственного интеллекта для предприятий, отметил, что отчет не смутил его, потому что, во-первых, он не увидел высказываний настоящих экспертов, внесших значительный вклад. Во-вторых, мы часто видим значительный прогресс в моделировании, и, наконец, он считает, что средства массовой информации любят создавать драму, и у этого отчета, кажется, просто красивый драматический заголовок.
