mixtral offloading

mixtral offloading

Dieses Projekt implementiert eine effiziente Inferenz von Mixtral-8x7B-Modellen.

Wie funktioniert es?

Zusammenfassend erreichen wir eine effiziente Inferenz von Mixtral-8x7B-Modellen durch eine Kombination von Techniken:

• Gemischte Quantisierung mit HQQ . Wir wenden separate Quantisierungsschemata für Aufmerksamkeitsschichten und Experten an, um das Modell in den kombinierten GPU- und CPU-Speicher einzupassen.
• MoE-Offloading-Strategie . Jeder Experte pro Schicht wird separat ausgelagert und das Paket nur bei Bedarf auf die GPU übertragen. Wir speichern aktive Experten in einem LRU-Cache, um die GPU-RAM-Kommunikation bei der Berechnung von Aktivierungen für benachbarte Token zu reduzieren.

Ausführlichere Informationen zu unseren Methoden und Ergebnissen finden Sie in unserem Tech-Report.

Läuft

Um diese Demo auszuprobieren, verwenden Sie bitte das Demo-Notizbuch: ./notebooks/demo.ipynb oder

Derzeit ist kein Befehlszeilenskript zum lokalen Ausführen des Modells verfügbar. Sie können jedoch eines erstellen und dabei das Demo-Notizbuch als Referenz verwenden. Dennoch sind Beiträge willkommen!

In Arbeit

Einige in unserem technischen Bericht beschriebene Techniken sind in diesem Repo noch nicht verfügbar. Wir arbeiten jedoch aktiv daran, in naher Zukunft Unterstützung für sie bereitzustellen.

Einige der kommenden Funktionen sind:

• Unterstützung für andere Quantisierungsmethoden
• Spekulatives Experten-Prefetching