mixtral offloading

mixtral offloading

В этом проекте реализован эффективный вывод моделей Mixtral-8x7B.

Как это работает?

Таким образом, мы достигаем эффективного вывода моделей Mixtral-8x7B за счет комбинации методов:

• Смешанное квантование с HQQ . Мы применяем отдельные схемы квантования для слоев внимания и экспертов, чтобы поместить модель в объединенную память графического процессора и процессора.
• Стратегия разгрузки МЧС . Каждый эксперт каждого слоя выгружается отдельно и переносится на графический процессор только при необходимости. Мы храним активные эксперты в кэше LRU, чтобы уменьшить взаимодействие между графическим процессором и оперативной памятью при вычислении активаций для соседних токенов.

Более подробную информацию о наших методах и результатах можно найти в нашем техническом отчете.

Бег

Чтобы попробовать эту демонстрацию, используйте демонстрационный блокнот: ./notebooks/demo.ipynb или

На данный момент не существует сценария командной строки для локального запуска модели. Однако вы можете создать его, используя демонстрационную записную книжку в качестве образца. При этом вклады приветствуются!

Работа в процессе

Некоторые методы, описанные в нашем техническом отчете, пока недоступны в этом репозитории. Однако мы активно работаем над добавлением их поддержки в ближайшем будущем.

Некоторые из предстоящих функций:

• Поддержка других методов квантования
• Спекулятивная экспертная предварительная выборка