mixtral offloading

mixtral offloading

Este proyecto implementa una inferencia eficiente de modelos Mixtral-8x7B.

¿Cómo funciona?

En resumen, logramos una inferencia eficiente de los modelos Mixtral-8x7B mediante una combinación de técnicas:

• Cuantización mixta con HQQ . Aplicamos esquemas de cuantificación separados para las capas de atención y los expertos para ajustar el modelo a la memoria combinada de GPU y CPU.
• "Estrategia de descarga del Ministerio de Educación" . Cada experto por capa se descarga por separado y solo se lleva el paquete a la GPU cuando es necesario. Almacenamos expertos activos en una caché LRU para reducir la comunicación GPU-RAM al calcular activaciones para tokens adyacentes.

Para obtener información más detallada sobre nuestros métodos y resultados, consulte nuestro informe técnico.

Correr

Para probar esta demostración, utilice el cuaderno de demostración: ./notebooks/demo.ipynb o

Por ahora, no hay ningún script de línea de comandos disponible para ejecutar el modelo localmente. Sin embargo, puedes crear uno usando el cuaderno de demostración como referencia. Dicho esto, ¡las contribuciones son bienvenidas!

Trabajo en progreso

Algunas técnicas descritas en nuestro informe técnico aún no están disponibles en este repositorio. Sin embargo, estamos trabajando activamente para agregarles soporte en un futuro próximo.

Algunas de las próximas características son:

• Soporte para otros métodos de cuantificación.
• Captura previa de expertos especulativos