mixtral offloading

mixtral offloading

Ce projet implémente une inférence efficace de modèles Mixtral-8x7B.

Comment ça marche ?

En résumé, nous obtenons une inférence efficace des modèles Mixtral-8x7B grâce à une combinaison de techniques :

• Quantification mixte avec HQQ . Nous appliquons des schémas de quantification distincts pour les couches d'attention et les experts afin d'adapter le modèle à la mémoire combinée du GPU et du CPU.
• Stratégie de déchargement du MoE . Chaque expert par couche est déchargé séparément et n'est transféré au GPU qu'en cas de besoin. Nous stockons les experts actifs dans un cache LRU pour réduire la communication GPU-RAM lors du calcul des activations pour les jetons adjacents.

Pour des informations plus détaillées sur nos méthodes et nos résultats, veuillez vous référer à notre rapport technique.

En cours d'exécution

Pour essayer cette démo, veuillez utiliser le carnet de démonstration : ./notebooks/demo.ipynb ou

Pour l’instant, aucun script de ligne de commande n’est disponible pour exécuter le modèle localement. Cependant, vous pouvez en créer un en utilisant le carnet de démonstration comme référence. Ceci étant dit, les contributions sont les bienvenues !

Travaux en cours

Certaines techniques décrites dans notre rapport technique ne sont pas encore disponibles dans ce référentiel. Cependant, nous travaillons activement à l'ajout d'un support pour eux dans un avenir proche.

Certaines des fonctionnalités à venir sont :

• Prise en charge d'autres méthodes de quantification
• Prélecture spéculative d'experts