LoRA-развертывание
В этом репозитории показано, как обслуживать несколько точно настроенных стабильных диффузий LoRA из ? Библиотека диффузоров в конечной точке Hugging Face Inference. Поскольку после точной настройки с помощью LoRA создается всего лишь несколько ~ МБ контрольной точки, мы можем переключать разные контрольные точки для различных точно настроенных стабильных диффузий сверхбыстрыми, эффективными способами с использованием памяти и дискового пространства.
В демонстрационных целях я протестировал следующие репозитории модели обнимающего лица, в которых есть точно настроенная контрольная точка LoRA ( pytorch_lora_weights.bin ):
- ethan_ai
- ното-эмодзи
- покемон
Блокнот
- Пилотный блокнот: показано, как написать и протестировать собственный обработчик для конечной точки вывода Hugging Face Inference в локальной среде или среде Colab.
- Блокнот для вывода: показывает, как запросить вывод для пользовательского обработчика, развернутого в Hugging Face Inference Endopint.
- Блокнот для вывода нескольких рабочих: показывает, как выполнять одновременные запросы к пользовательскому обработчику, развернутому в конечной точке вывода Hugging Face в среде Colab.
Пользовательский обработчик
- handler.py: базовый обработчик. Доказано, что этот пользовательский обработчик работает с репозиторием Hugging Face Model.
- multiworker_handler.py: расширенный обработчик с пулом нескольких рабочих (стабильная диффузия). Доказано, что этот пользовательский обработчик работает с репозиторием Hugging Face Model.
Скрипт
- inference.py: автономный скрипт Python для отправки запросов пользовательскому обработчику, развернутому в конечной точке Hugging Face Inference.
Ссылка
- https://huggingface.co/blog/lora
