Команда Куньлуня Ванвэя Янь Шуйчэна в сотрудничестве с Наньянским технологическим университетом в Сингапуре выпустила революционный проект под названием Q*, целью которого является значительное улучшение логических способностей небольших языковых моделей. В отличие от других крупных языковых моделей, представленных на рынке, Q* фокусируется на повышении производительности небольших моделей, делая свои возможности рассуждения сопоставимыми с моделями с параметрами в десятки или даже сотни раз большими. Ожидается, что этот результат исследования изменит ограничения небольших моделей в практическом применении и откроет новые возможности для развития в области искусственного интеллекта. Благодаря инновационным алгоритмам Q* значительно улучшила возможности рассуждения небольших моделей и добилась превосходных результатов, превосходящих большие модели в многочисленных тестах производительности.
Недавно отечественная команда Куньлунь Ванвэй Ян Шуйчэн и исследовательская группа из Наньянского технологического университета в Сингапуре выпустили проект под названием Q*, целью которого является улучшение логических способностей небольших моделей. Этот проект отличается от OpenAI, но он может позволить небольшим моделям достичь возможностей рассуждения моделей с параметрами, которые в десятки или даже сотни раз превышают его.
Исследовательская группа добилась замечательных результатов благодаря экспериментальной работе алгоритма Q*: на наборе данных GSM8K Q* помог Llama-2-7b улучшить точность до 80,8%, превзойдя ChatGPT.
В наборе данных MATH Q* помог DeepSeek-Math-7b повысить точность до 55,4%, превзойдя Gemini Ultra.
В наборе данных MBPP Q* помог CodeQwen1.5-7b-Chat повысить точность до 77,0%, сократив разрыв в уровне программирования с GPT-4. Эти результаты показывают потенциал алгоритма Q* в улучшении возможностей рассуждения небольших моделей.
Принцип работы алгоритма Q* заключается в разложении траектории рассуждения большой языковой модели на несколько состояний, проведении общего планирования для каждого состояния и использовании алгоритма поиска A* для достижения приоритетного поиска для сложных задач рассуждения. В то же время они также обучили модель Q-значения агента посредством обучения с учителем, чтобы получить оптимальное значение Q пары состояние-действие, тем самым улучшив производительность модели.
Выделять:
Проект Q* не выпущен OpenAI. Благодаря алгоритму исследовательской группы способность к рассуждению небольшой модели была значительно улучшена.
В рамках проекта были достигнуты замечательные экспериментальные результаты на нескольких наборах данных, демонстрирующие потенциал и эффективность алгоритма Q*.
Ссылка на статью: https://arxiv.org/abs/2406.14283.
Результаты исследований проекта Q* открывают новое направление разработки малых моделей. Его эффективный алгоритм и значительный эффект улучшения заслуживают внимания. Ожидается, что в будущем этот алгоритм будет применяться в большем количестве областей и будет способствовать развитию технологий искусственного интеллекта. Ссылка на статью предоставлена заинтересованным читателям, чтобы они могли узнать более подробную информацию.