Finetuning Suite

使用 Qlora、BNB、Lora、Peft 在不到 30 秒的時間內以無與倫比的性能、速度和可靠性對任何模型進行微調，只需按 GO。

？安排一對一會議

預訂與創作者 Kye 的一對一會議，討論任何問題、提供回饋或探索我們如何為您改進 Zeta。

---

？安裝 ？

 $ pip3 安裝 ft-suite

---

快速入門

微調

from fts import FineTuner# 初始化微調器model_id="google/flan-t5-xxl"dataset_name = "samsung"tuner = FineTuner( model_id=model_id, dataset_name=dataset_name, max_length=150, lora_alpha=150, l30 True)# 產生內容prompt_text = "為我總結這個想法。"print(tuner(prompt_text))

---

推理

from fts import Inferencemodel = Inference( model_id="georgesung/llama2_7b_chat_uncensored", quantized=True)model.run("你叫什麼名字")

GPTQ 推理

from fts import GPTQInferencemodel_id = "facebook/opt-125m"model = GPTQInference(model_id=model_id, max_length=400)prompt = "在遙遠的土地上"result = model.run(prompt)print(result)

---

？特徵 ？

• 世界一流的量化：透過頂級性能和保留的準確性充分利用您的模型！ ？

• 自動化 PEFT ：簡化您的工作流程！讓我們的工具包來處理優化。

• LoRA 配置：深入挖掘靈活 LoRA 配置的潛力，改變效能遊戲規則！ ？

• 無縫整合：旨在與 LLAMA、Falcon 等流行模型無縫協作！ ？

---

？

以下是我們雄心勃勃的路線圖的一瞥！我們一直在不斷發展，您的回饋和貢獻可以塑造我們的旅程！

• 更多範例腳本：

• 使用 GPT 模型

• 遷移學習範例

• 實際應用範例

• 多態預處理函數：

• 設計一個函數來處理不同的資料集

• 與流行來源的已知資料集結構集成

• 使用者定義結構的自訂資料集藍圖

• 擴展模型支援：

• 與Lama、Falcon等集成

• 支援非英語模型

• 綜合文檔：

• 詳細使用指南

• 微調的最佳實踐

• 量化和 LoRA 功能的基準

• 互動式網路介面：

• GUI 可輕鬆微調

• 用於模型洞察的可視化工具

• 進階功能：

• 與其他量化技術集成

• 支援文字生成以外的更多任務類型

• 模型調試和自省工具

• 集成 Carper 的 TRLX

……還有更多即將推出！

---

？反饋和貢獻？

我們對未來的旅程感到興奮，並希望您能和我們一起！如需回饋、建議或貢獻，請隨時提出問題或拉取請求。讓我們一起塑造微調的未來！ ？

---

執照

麻省理工學院

---

分享愛！ ？

傳播微調套件的訊息，這是幫助每個人量化和微調最先進模型的基礎工具。

共享該專案有助於我們接觸更多可以從中受益的人，並激勵我們繼續開發和改進該套件。

點擊下面的按鈕在您最喜愛的社交媒體平台上分享 Finetuning-Suite：

• 在推特上分享

• 在臉書上分享

• 在領英上分享

• 在 Reddit 上分享

另外，我們很想知道您如何使用 Finetuning-Suite！在 Twitter 上標記我們@finetuning-suite，與我們分享您的專案和經驗。

最後，如果您發現它有用，請不要忘記️存儲庫。您的支持對我們來說意義重大！謝謝你！ ？

---