mixtral offloading

mixtral offloading

Proyek ini mengimplementasikan inferensi efisien model Mixtral-8x7B.

Bagaimana cara kerjanya?

Singkatnya, kami mencapai inferensi model Mixtral-8x7B yang efisien melalui kombinasi teknik:

• Kuantisasi campuran dengan HQQ . Kami menerapkan skema kuantisasi terpisah untuk lapisan perhatian dan pakar agar sesuai dengan model ke dalam gabungan memori GPU dan CPU.
• Strategi bongkar muat Kementerian Lingkungan Hidup . Setiap pakar per lapisan diturunkan secara terpisah dan hanya membawa paket ke GPU bila diperlukan. Kami menyimpan pakar aktif dalam cache LRU untuk mengurangi komunikasi GPU-RAM saat menghitung aktivasi untuk token yang berdekatan.

Untuk informasi lebih rinci tentang metode dan hasil kami, silakan merujuk ke laporan teknologi kami.

Berlari

Untuk mencoba demo ini, silakan gunakan demo notebook: ./notebooks/demo.ipynb atau

Untuk saat ini, tidak ada skrip baris perintah yang tersedia untuk menjalankan model secara lokal. Namun, Anda bisa membuatnya menggunakan buku catatan demo sebagai referensi. Meskipun demikian, kontribusi dipersilakan!

Pekerjaan sedang berlangsung

Beberapa teknik yang dijelaskan dalam laporan teknis kami belum tersedia di repo ini. Namun, kami secara aktif berupaya menambahkan dukungan untuk mereka dalam waktu dekat.

Beberapa fitur yang akan datang adalah:

• Dukungan untuk metode kuantisasi lainnya
• Prefetching ahli yang spekulatif