mixtral offloading

mixtral offloading

Este projeto implementa inferência eficiente de modelos Mixtral-8x7B.

Como funciona?

Em resumo, alcançamos inferência eficiente de modelos Mixtral-8x7B através de uma combinação de técnicas:

• Quantização mista com HQQ . Aplicamos esquemas de quantização separados para camadas de atenção e especialistas para ajustar o modelo na memória combinada de GPU e CPU.
• Estratégia de descarregamento do MoE . Cada especialista por camada é descarregado separadamente e só é levado para a GPU quando necessário. Armazenamos especialistas ativos em um cache LRU para reduzir a comunicação GPU-RAM ao calcular ativações para tokens adjacentes.

Para obter informações mais detalhadas sobre nossos métodos e resultados, consulte nosso relatório técnico.

Correndo

Para experimentar esta demonstração, use o bloco de notas de demonstração: ./notebooks/demo.ipynb ou

Por enquanto, não há script de linha de comando disponível para executar o modelo localmente. No entanto, você pode criar um usando o caderno de demonstração como referência. Dito isto, contribuições são bem-vindas!

Trabalho em andamento

Algumas técnicas descritas em nosso relatório técnico ainda não estão disponíveis neste repositório. No entanto, estamos trabalhando ativamente para adicionar suporte a eles em um futuro próximo.

Alguns dos próximos recursos são:

• Suporte para outros métodos de quantização
• Pré-busca especulativa de especialistas