gptq_for_langchain

LangChain中的GPTQ模型

簡介

該儲存庫提供了一個潛在的框架，其中包含實際範例，用於開發由量化開源語言模型（LLM）與 LangChain 結合支援的應用程式。具體來說，本指南重點介紹各種 LLM 的 4 位元量化 GPTQ 變體的實現和利用，例如 WizardLM 和 WizardLM-Mega。雖然專用於該特定主題的線上資源有限，但該存儲庫旨在彌合這一差距並提供全面的指南。

在本地運行法學碩士有很多優勢，其中隱私是關鍵因素。透過將資料保存在自己的硬體中，您可以利用這些模型的功能，而無需依賴外部 API，從而確保更好地控制資料並支援開發令人興奮的應用程式。

先決條件

• Ubuntu 22.04 / WSL2 Ubuntu 適用於 Windows
• 具有至少 6GB VRAM 的 Nvidia GPU
  • 6GB VRAM 足以加載 4 位元 7B 型號
• 8 個 CPU 執行緒
• 建議使用 16 GB 內存
• Nvidia 驅動程式已安裝（ nvidia-smi命令應該可以工作）
• 足夠的磁碟空間用於軟體包、驅動程式和模型檔案（~30GB，可能因係統而異）
• git LFS

注意：將會新增 Docker 支援。

測試型號

目前支援以下 GPTQ 模型：

• 嚮導LM-7B-GPTQ
• WizardLM-7B-未經審查-GPTQ

啟動並運行

為了開始將 GPTQ 模型與 langchain 結合使用，需要執行以下幾個重要步驟：

1. 設定Python環境
2. 安裝正確版本的 Pytorch 和 CUDA 工具包
3. 正確設定quant_cuda
4. 從 HuggingFace 下載 GPTQ 模型
5. 完成上述步驟後，您可以執行demo.py並將 LLM 與 LangChain 一起使用，就像您對 OpenAI 模型所做的那樣。

創建conda環境

按照官方網站的說明安裝 Miniconda。

檢查 conda 是否設定正確

$ conda --version

在 shell 上初始化 conda

$ conda init

新建conda環境，確保使用指定的Python版本，因為只在3.10.9上測試過

$ conda create -n wizardlm_langchain python=3.10.9

創建新環境後，將其啟動。

$ conda activate wizardlm_langchain

設定環境

上面討論的整個過程從 2 到 4 都是使用setup.sh bash 腳本自動完成的。您可以根據自己的喜好隨意修改它。

$ bash ./setup.sh

如果環境設定正確，則所有步驟理想情況下都應正確運作而不會發生錯誤。

如果您在執行demo時遇到以下異常：

 Exception: Error while deserializing header: HeaderTooLarge

那麼這意味著模型尚未完全下載，因此您可以嘗試使用setup.py中找到的git clone命令重新下載它。

在運行演示之前，最好在第一次設定環境時停用並重新啟動環境。

運行演示：

$ python demo.py

預設情況下，使用setup.sh將下載精靈LM-7B-GPTQ 模型，但如果您想使用在此專案中測試過的其他模型，則可以使用download_model.sh腳本。

$ download_model.sh < HUGGING FACE MODEL NAME >
# Example
$ ./download_model.sh " TheBloke/WizardLM-7B-uncensored-GPTQ "

注意：如果您無法從 HF 下載完整模型，請確保 Git LFS 已正確設定。命令git lfs install有時可能可以完成工作。

用法

完成設定程序後，您可以按照以下步驟將 GPTQ 模型與 LangChain 一起使用：

確保將wizardlm_langchain專案根目錄附加到 PYTHONPATH 以便全域使用它

請參閱範例demo.py腳本以了解如何使用它。

貢獻

歡迎對此儲存庫做出貢獻。如果您發現任何問題或有改進建議，請隨時提出問題或提交拉取請求。

貢獻時，請遵守以下準則：

• 分叉儲存庫並為您的貢獻建立一個新分支。
• 必要時包括文件和註釋。
• 編寫清晰的提交訊息。
• 在提交拉取請求之前徹底測試您的變更。

執照

該儲存庫已根據 GNU 公共授權獲得許可。有關詳細信息，請參閱許可證文件。

致謝

我們要感謝開源社群以及該儲存庫中使用的原始 GPTQ 模型的開發人員的貢獻。非常感謝 oobabooga/text- Generation-webui，他們的工作為使用 langchain 建立 GPTQ 模型提供了巨大的幫助。