LoRA の展開

LoRA の展開

このリポジトリは、? から複数の LoRA 微調整された安定した拡散を提供する方法を示します。ハグ顔推論エンドポイントのディフューザー ライブラリ。 LoRA による微調整後に生成されるチェックポイントは数 MB しかないため、非常に迅速でメモリ効率が高く、ディスク容量効率の高い方法で、微調整されたさまざまな安定拡散用に異なるチェックポイントを切り替えることができます。

デモンストレーションの目的で、LoRA の微調整されたチェックポイント ( pytorch_lora_weights.bin ) を備えた次のハグ顔モデル リポジトリをテストしました。

• イーサンアイ
• のと絵文字
• ポケモン

ノート

• パイロット ノートブック: ローカルまたは Colab 環境でハグ顔推論エンドポイントのカスタム ハンドラーを作成してテストする方法を示します。
• 推論ノートブック: Hugging Face Inference Endopint にデプロイされたカスタム ハンドラーに推論をリクエストする方法を示します。
• マルチワーカー推論ノートブック: Colab 環境のハグ顔推論エンドポイントにデプロイされたカスタム ハンドラーへの同時リクエストを実行する方法を示します。

カスタムハンドラー

• handler.py: 基本的なハンドラー。このカスタム ハンドラーは、この Hugging Face Model リポジトリで動作することが証明されています
• multiworker_handler.py: 複数のワーカー (安定拡散) プールを備えた高度なハンドラー。このカスタム ハンドラーは、この Hugging Face Model リポジトリで動作することが証明されています

スクリプト

• inference.py: ハグ顔推論エンドポイントにデプロイされたカスタム ハンドラーにリクエストを送信するスタンドアロン Python スクリプト

参照

• https://huggingface.co/blog/lora