mixtral offloading

mixtral offloading

此專案實現了 Mixtral-8x7B 模型的高效推理。

它是如何運作的？

綜上所述，我們透過技術組合實現了 Mixtral-8x7B 模型的高效推理：

• 與 HQQ 混合量化。我們對注意力層和專家應用單獨的量化方案，以使模型適合組合的 GPU 和 CPU 記憶體。
• 教育部卸載策略。每層的每個專家都單獨卸載，並且僅在需要時將包帶到 GPU。我們將活躍專家儲存在 LRU 快取中，以在計算相鄰令牌的啟動時減少 GPU-RAM 通訊。

有關我們的方法和結果的更多詳細信息，請參閱我們的技術報告。

跑步

若要嘗試此演示，請使用演示筆記本：./notebooks/demo.ipynb 或

目前，沒有可用於本機運行模型的命令列腳本。但是，您可以使用演示筆記本作為參考來建立一個。話雖這麼說，歡迎貢獻！

工作正在進行中

我們的技術報告中描述的一些技術在此儲存庫中尚不可用。不過，我們正在積極努力在不久的將來增加對他們的支持。

即將推出的一些功能包括：

• 支持其他量化方法
• 推測性專家預取