mixtral offloading

mixtral offloading

このプロジェクトは、Mixtral-8x7B モデルの効率的な推論を実装します。

どのように機能するのでしょうか?

要約すると、次の手法を組み合わせることにより、Mixtral-8x7B モデルの効率的な推論を実現します。

• HQQ を使用した混合量子化。アテンション レイヤーとエキスパートに個別の量子化スキームを適用して、モデルを GPU と CPU メモリの組み合わせに適合させます。
• MoE のオフロード戦略。レイヤーごとの各エキスパートは個別にオフロードされ、必要な場合にのみパックが GPU に取り込まれます。隣接するトークンのアクティベーションを計算する際の GPU-RAM 通信を削減するために、アクティブなエキスパートを LRU キャッシュに保存します。

私たちの方法と結果の詳細については、技術レポートを参照してください。

ランニング

このデモを試すには、デモ ノートブック: ./notebooks/demo.ipynb または

現時点では、モデルをローカルで実行するために使用できるコマンド ライン スクリプトはありません。ただし、デモ ノートブックを参照として使用して作成することはできます。そうは言っても、貢献は大歓迎です!

作業中です

技術レポートで説明されている一部のテクニックは、このリポジトリではまだ利用できません。ただし、近い将来、それらのサポートを追加することに積極的に取り組んでいます。

今後の機能の一部は次のとおりです。

• 他の量子化方法のサポート
• 投機的なエキスパートのプリフェッチ