Mistral AI недавно выпустила свою большую языковую модель Mixtral 8x7B, основанную на модели SMoE, которая имеет производительность, сравнимую с GPT-3.5, и хорошо справляется с такими задачами, как математика, генерация кода и понимание прочитанного. Эта модель имеет более высокую скорость вывода и имеет открытый исходный код в версии Instruct под лицензией Apache2.0. Этот шаг знаменует собой большой шаг вперед в области моделей больших языков с открытым исходным кодом, а также предвещает амбициозную цель Mistral AI по созданию моделей уровня GPT-4 с открытым исходным кодом в 2024 году.
Mistral AI выпускает Mixtral 8x7B на базе модели SMoE, производительность которой сопоставима с GPT-3.5. Модель широко используется в таких задачах, как математика, генерация кода и понимание прочитанного, а скорость рассуждения выше. Mixtral8x7B и Mixtral8x7B — Instruct имеют открытый исходный код под лицензией Apache2.0. Mistral AI планирует выпустить модели уровня GPT-4 с открытым исходным кодом в 2024 году, став лидером в области моделей больших языков с открытым исходным кодом.Открытый исходный код Mixtral 8x7B снижает порог входа для больших языковых моделей, предоставляет ценные ресурсы для разработчиков и исследователей и способствует процветанию экосистемы больших моделей с открытым исходным кодом. Стоит с нетерпением ждать ее дальнейшего развития и открытого исходного кода GPT. -4 уровневые модели.