Finetuning Suite

使用 Qlora、BNB、Lora、Peft 在不到 30 秒的时间内以无与伦比的性能、速度和可靠性对任何模型进行微调，只需按 GO。

？安排一对一会议

预订与创作者 Kye 的一对一会议，讨论任何问题、提供反馈或探索我们如何为您改进 Zeta。

---

？安装 ？

 $ pip3 安装 ft-suite

---

快速入门

微调

from fts import FineTuner# 初始化微调器model_id="google/flan-t5-xxl"dataset_name = "samsung"tuner = FineTuner( model_id=model_id, dataset_name=dataset_name, max_length=150, lora_r=16, lora_alpha=32, quantize= True)# 生成 contentprompt_text = "总结这个想法我。”打印（调谐器（prompt_text））

---

推理

from fts import Inferencemodel = Inference( model_id="georgesung/llama2_7b_chat_uncensored", quantized=True)model.run("你叫什么名字")

GPTQ 推理

from fts import GPTQInferencemodel_id = "facebook/opt-125m"model = GPTQInference(model_id=model_id, max_length=400)prompt = "在遥远的土地上"result = model.run(prompt)print(result)

---

？特征 ？

• 世界一流的量化：通过顶级性能和保留的准确性充分利用您的模型！ ？️‍♂️

• 自动化 PEFT ：简化您的工作流程！让我们的工具包来处理优化。

• LoRA 配置：深入挖掘灵活 LoRA 配置的潜力，改变性能游戏规则！ ？

• 无缝集成：旨在与 LLAMA、Falcon 等流行模型无缝协作！ ？

---

？️路线图？️

以下是我们雄心勃勃的路线图的一瞥！我们一直在不断发展，您的反馈和贡献可以塑造我们的旅程！

• 更多示例脚本：

• 使用 GPT 模型

• 迁移学习示例

• 实际应用示例

• 多态预处理函数：

• 设计一个函数来处理不同的数据集

• 与流行来源的已知数据集结构集成

• 用户定义结构的自定义数据集蓝图

• 扩展模型支持：

• 与Lama、Falcon等集成

• 支持非英语模型

• 综合文档：

• 详细使用指南

• 微调的最佳实践

• 量化和 LoRA 功能的基准

• 交互式网络界面：

• GUI 可轻松进行微调

• 用于模型洞察的可视化工具

• 高级功能：

• 与其他量化技术集成

• 支持文本生成之外的更多任务类型

• 模型调试和自省工具

• 集成 Carper 的 TRLX

...还有更多即将推出！

---

？反馈和贡献？

我们对未来的旅程感到兴奋，并希望您能和我们一起！如需反馈、建议或贡献，请随时提出问题或拉取请求。让我们一起塑造微调的未来！ ？

---

执照

麻省理工学院

---

分享爱！ ？

传播微调套件的信息，这是帮助每个人量化和微调最先进模型的基础工具。

共享该项目有助于我们接触到更多可以从中受益的人，并激励我们继续开发和改进该套件。

单击下面的按钮在您最喜爱的社交媒体平台上分享 Finetuning-Suite：

• 在推特上分享

• 在脸书上分享

• 在领英上分享

• 在 Reddit 上分享

另外，我们很想知道您如何使用 Finetuning-Suite！在 Twitter 上标记我们@finetuning-suite，与我们分享您的项目和经验。

最后，如果您发现它有用，请不要忘记️存储库。您的支持对我们来说意义重大！谢谢你！ ？

---