mixtral offloading

mixtral offloading

该项目实现了 Mixtral-8x7B 模型的高效推理。

它是如何运作的？

综上所述，我们通过技术组合实现了 Mixtral-8x7B 模型的高效推理：

• 与 HQQ 混合量化。我们对注意力层和专家应用单独的量化方案，以使模型适合组合的 GPU 和 CPU 内存。
• 教育部卸载策略。每层的每个专家都单独卸载，并且仅在需要时将包带到 GPU。我们将活跃专家存储在 LRU 缓存中，以在计算相邻令牌的激活时减少 GPU-RAM 通信。

有关我们的方法和结果的更多详细信息，请参阅我们的技术报告。

跑步

要尝试此演示，请使用演示笔记本：./notebooks/demo.ipynb 或

目前，没有可用于本地运行模型的命令行脚本。但是，您可以使用演示笔记本作为参考来创建一个。话虽这么说，欢迎贡献！

工作正在进行中

我们的技术报告中描述的一些技术在此存储库中尚不可用。不过，我们正在积极努力在不久的将来增加对他们的支持。

即将推出的一些功能包括：

• 支持其他量化方法
• 推测性专家预取