Implantação LoRA
Este repositório demonstra como servir várias Difusões Estáveis LoRA ajustadas de ? Biblioteca de difusores no ponto final de inferência de rosto abraçado. Como apenas alguns ~ MB de ponto de verificação são produzidos após o ajuste fino com LoRA, podemos alternar diferentes pontos de verificação para diferentes Difusões Estáveis ajustadas de maneira super rápida, com eficiência de memória e de espaço em disco.
Para fins de demonstração, testei os seguintes repositórios Hugging Face Model que possuem ponto de verificação LoRA ajustado ( pytorch_lora_weights.bin ):
- ethan_ai
- noto-emoji
- Pokémon
Caderno
- Notebook piloto: mostra como escrever e testar um manipulador personalizado para Hugging Face Inference Endpoint em ambientes locais ou Colab
- Caderno de inferência: mostra como solicitar inferência para o manipulador personalizado implantado no Hugging Face Inference Endopint
- Notebook de inferência com vários trabalhadores: mostra como executar solicitações simultâneas para o manipulador personalizado implantado no Hugging Face Inference Endpoint no ambiente Colab
Manipulador personalizado
- handler.py: manipulador básico. Foi comprovado que este manipulador personalizado funciona com este repositório Hugging Face Model
- multiworker_handler.py: manipulador avançado com pool de vários trabalhadores (difusão estável). Foi comprovado que este manipulador personalizado funciona com este repositório Hugging Face Model
Roteiro
- inference.py: script Python independente para enviar solicitações ao manipulador personalizado implantado no Hugging Face Inference Endpoint
Referência
- https://huggingface.co/blog/lora
