LoRA部署

LoRA部署

此儲存庫示範如何從 ? 提供多個經過 LoRA 微調的穩定擴散。 Hugging Face Inference Endpoint 上的 Diffusers 函式庫。由於使用 LoRA 微調後僅產生幾 MB 的檢查點，因此我們可以以超快速、內存高效和磁碟空間高效的方式為不同的微調穩定擴散切換不同的檢查點。

出於演示目的，我測試了以下擁抱臉部模型儲存庫，其中包含 LoRA 微調檢查點（ pytorch_lora_weights.bin ）：

• 伊森·艾
• 能登表情符號
• 口袋妖怪

筆記本

• 試聽筆記本：展示如何在本機或 Colab 環境中編寫和測試 Hugging Face Inference Endpoint 的自訂處理程序
• 推理筆記本：展示如何請求推理部署在 Hugging Face Inference Endopint 上的自訂處理程序
• 多工作人員推理筆記本：展示如何對 Colab 環境中 Hugging Face Inference Endpoint 上部署的自訂處理程序運行同時請求

自訂處理程序

• handler.py：基本處理程序。事實證明，此自訂處理程序可與此 Hugging Face Model 儲存庫搭配使用
• multiworker_handler.py：具有多個工作（穩定擴散）池的高階處理程序。事實證明，此自訂處理程序可與此 Hugging Face Model 儲存庫搭配使用

腳本

• inference.py：獨立的 Python 腳本，用於將請求傳送到部署在 Hugging Face Inference Endpoint 上的自訂處理程序

參考

• https://huggingface.co/blog/lora