ондифф
1.2.0(SD3, Latte and Kolors acceleratoin)
| Документация | Сообщество | Вклад | Раздор |
onediff — это готовая библиотека ускорения для диффузионных моделей, она обеспечивает:
Мы нанимаем! Если вы заинтересованы в работе над onediff в SiliconFlow, у нас открыты вакансии для стажеров и инженеров в Пекине (рядом с Университетом Цинхуа).
Если вы внесли значительный вклад в разработку программного обеспечения с открытым исходным кодом и заинтересованы в удаленной работе, вы можете связаться с нами по адресу [email protected] , указав onediff в заголовке электронного письма.
onediff — это аббревиатура « одной строки кода для ускорения моделей диффузии ».
Обратите внимание: у нас нет возможности запустить SVD с TensorRT 29 февраля 2024 года.
Мы также поддерживаем репозиторий для тестирования качества генерации после ускорения: odeval
Примечание. Вы можете выбрать последние версии диффузоров или трансформаторов.
python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"
При выборе между OneFlow и Nexfort любой из них не является обязательным, и необходим только один.
Для структурных моделей DiT или устройств H100 рекомендуется использовать Nexfort.
Во всех остальных случаях рекомендуется использовать OneFlow. Обратите внимание, что оптимизации в OneFlow в будущем постепенно перейдут на Nexfort.
Установка Nexfort не является обязательной. Подробное описание Nexfort можно найти здесь.
python3 -m pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m pip install -U nexfortУстановка OneFlow не является обязательной.
ПРИМЕЧАНИЕ. Мы часто обновляем OneFlow для oneiff, поэтому установите OneFlow по ссылкам ниже.
КУДА 11.8
Для пользователей Северной Америки/ЕС
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118Для пользователей CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118КУДА 12.1
Для пользователей Северной Америки/ЕС
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121Для пользователей CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121КУДА 12.2
Для пользователей Северной Америки/ЕС
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122Для пользователей CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122 python3 -m pip install --pre onediff
git clone https://github.com/siliconflow/onediff.git
cd onediff && python3 -m pip install -e .
Или установите для разработки:
# install for dev
cd onediff && python3 -m pip install -e '.[dev]'
# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files
ПРИМЕЧАНИЕ. Если вы собираетесь использовать плагины для ComfyUI/StableDiffusion-WebUI, мы настоятельно рекомендуем устанавливать OneDiff из исходного кода, а не PyPI. Это необходимо, поскольку вам нужно будет вручную скопировать (или создать программную ссылку) соответствующий код в папку расширений этих пользовательских интерфейсов/библиотек.
| Функциональность | Подробности |
|---|---|
| Время компиляции | Около 1 минуты (SDXL) |
| Методы развертывания | Подключи и играй |
| Поддержка динамического размера изображения | Поддержка без накладных расходов |
| Поддержка модели | SD1.5~2.1, SDXL, SDXL Turbo и т. д. |
| Поддержка алгоритмов | Стандартный рабочий процесс SD, LoRA, ControlNet, SVD, InstantID, SDXL Lightning и т. д. |
| Поддержка SD Framework | ComfyUI, Диффузоры, SD-webui |
| Сохранение и загрузка ускоренных моделей | Да |
| Время переключения LoRA | Сотни миллисекунд |
| LoRA Занятость | От десятков до сотен МБ. |
| Поддержка устройств | NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10 и т. д. (Совместимость с Ascend находится в разработке) |
onediff поддерживает ускорение для моделей SOTA.
| Тип АИГК | Модели | ВЧ диффузоры | Удобный интерфейс | веб-интерфейс SD | |||
|---|---|---|---|---|---|---|---|
| Сообщество | Предприятие | Сообщество | Предприятие | Сообщество | Предприятие | ||
| Изображение | СД 1,5 | стабильный | стабильный | стабильный | стабильный | стабильный | стабильный |
| СД 2.1 | стабильный | стабильный | стабильный | стабильный | стабильный | стабильный | |
| SDXL | стабильный | стабильный | стабильный | стабильный | стабильный | стабильный | |
| ЛоРА | стабильный | стабильный | стабильный | ||||
| Контрольная сеть | стабильный | стабильный | |||||
| SDXL Турбо | стабильный | стабильный | |||||
| ЛКМ | стабильный | стабильный | |||||
| SDXL DeepCache | альфа | альфа | альфа | альфа | |||
| InstantID | бета | бета | |||||
| Видео | SVD (стабильная диффузия видео) | стабильный | стабильный | стабильный | стабильный | ||
| СВД DeepCache | альфа | альфа | альфа | альфа |
Скомпилируйте и сохраните скомпилированный результат в автономном режиме, а затем загрузите его онлайн для обслуживания.
Если вы хотите выполнить распределенный вывод, вы можете использовать компилятор onediff для ускорения одного устройства в механизме распределенного вывода, таком как xDiT.
Если вам нужна поддержка уровня предприятия для вашей системы или бизнеса, вы можете написать нам по адресу [email protected] или связаться с нами через веб-сайт: https://siliconflow.cn/pricing.
| Корпоративное решение Onediff | |
|---|---|
| Более экстремальная оптимизация компилятора для процесса распространения. | Обычно прирост производительности составляет еще 20–30 % или более. |
| Комплексные решения для ускорения рабочих процессов | Иногда прирост производительности составляет 200–300 %. |
| Комплексные решения для развертывания рабочих процессов | Рабочий процесс для API онлайн-модели |
| Техническая поддержка при развертывании | Высокоприоритетная поддержка |
@misc { 2022onediff ,
author = { OneDiff Contributors } ,
title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
year = { 2022 } ,
publisher = { GitHub } ,
journal = { GitHub repository } ,
howpublished = { url{https://github.com/siliconflow/onediff} }
}
