LoRA 배포
이 저장소는 ?에서 여러 LoRA 미세 조정 Stable Diffusion을 제공하는 방법을 보여줍니다. Hugging Face Inference Endpoint의 디퓨저 라이브러리. LoRA로 미세 조정한 후에는 불과 몇 MB의 체크포인트만 생성되므로 매우 빠르고 메모리 효율적이며 디스크 공간 효율적인 방식으로 미세 조정된 Stable Diffusion에 대해 서로 다른 체크포인트를 전환할 수 있습니다.
데모 목적으로 LoRA 미세 조정 체크포인트( pytorch_lora_weights.bin
)가 있는 다음 Hugging Face Model 저장소를 테스트했습니다.
공책
- 파일럿 노트북: 로컬 또는 Colab 환경에서 Hugging Face Inference Endpoint에 대한 사용자 정의 핸들러를 작성하고 테스트하는 방법을 보여줍니다.
- 추론 노트북: Hugging Face Inference Endopint에 배포된 사용자 정의 핸들러에 대한 추론을 요청하는 방법을 보여줍니다.
- 다중 작업자 추론 노트북: Colab 환경의 Hugging Face Inference Endpoint에 배포된 커스텀 핸들러에 대한 동시 요청을 실행하는 방법을 보여줍니다.
커스텀 핸들러
- handler.py: 기본 핸들러. 이 사용자 정의 핸들러는 Hugging Face Model 저장소에서 작동하는 것으로 입증되었습니다.
- multiworker_handler.py: 다중 워커(Stable Diffusion) 풀을 갖춘 고급 핸들러. 이 사용자 정의 핸들러는 Hugging Face Model 저장소에서 작동하는 것으로 입증되었습니다.
스크립트
- inference.py: Hugging Face Inference Endpoint에 배포된 사용자 정의 핸들러에 요청을 보내는 독립 실행형 Python 스크립트
참조
- https://huggingface.co/blog/lora