Недавно команда Sky Computing Lab в Калифорнийском университете, Беркли, выпустила Sky-T1-32B-Preview, модель искусственного интеллекта с открытым исходным кодом, которая отмечает разработку вывода AI проще и дешевле. Модель хорошо выполнялась в нескольких ключевых критериях, даже сравнимая с более ранними версиями Openai версий O1.
Затраты на обучение Sky-T1 впечатляют, всего за 450 долларов, что означает, что репликация возможностей рассуждений на высоком уровне стала более доступной и эффективной. Несмотря на то, что плата в размере 450 долларов может не звучать низко, это огромное падение по сравнению с стоимостью обучения, которая стоила сотни миллионов долларов несколько лет назад. С помощью синтетических данных обучения, то есть данных обучения, генерируемых другими моделями, стоимость значительно снижается. Автор компании по искусству недавно выпустил Palmyra X004, который почти полностью зависит от синтетических данных, а стоимость разработки составляет всего 700 000 долларов.
В отличие от большинства AIS, модели выводов способны эффективно самостоятельно проверять, что делает их более надежными при решении некоторых общих проблем. Модели вывода обычно занимают больше времени при получении решений, которые могут занять секунды до минут, но в таких областях, как физика, наука и математика, преимущества надежности являются значительными.
Команда Novasky использовала еще одну модель вывода-QWQ-32B-Preview от Alibaba, чтобы создать первоначальные данные Sky-T1 и «запланированные» данные, используя GPT-4O-Mini Openai для повторного дела больше операционного формата. Для обучения Sky-T1 требуется всего около 19 часов с параметрами 3,2 миллиарда, используя набор из 8 NVIDIA H100GPUS. Количество параметров примерно связано со способностью решать проблемы.
По словам команды Novasky, Sky-T1 превзошел раннюю версию O1 в коллекции математических задач Math500 математических задач «конкурса». Кроме того, Sky-T1 столкнулся с большим количеством трудностей в LiveCodeBench, чем предварительная версия O1. Тем не менее, Sky-T1 выступил хуже, чем предварительный просмотр O1 в тестах GPQA-Diamond, когда речь идет о проблемах, связанных с физикой, биологией и химией.
Следует отметить, что версия O1 Openai является более мощной, чем предварительная версия, и ожидается, что OpenAI выпустит еще лучшую модель вывода O3 в ближайшие несколько недель. Тем не менее, команда Novasky заявила, что Sky-T1-это только начало их путешествия по разработке модели с открытым исходным кодом с расширенными возможностями рассуждений.
«С нетерпением ждем, мы сосредоточимся на разработке более эффективных моделей для поддержания сильной производительности вывода и изучения передовых технологий, которые еще больше повышают эффективность и точность модели», - написала команда в блоге. «Следите за обновлениями для нашего прогресса в этих захватывающих проектах».