onediff

Otro código fuente

1.2.0(SD3, Latte and Kolors acceleratoin)

Descargar

onediff es una biblioteca de aceleración lista para usar para modelos de difusión que proporciona:

Aceleración lista para usar para UI/libs populares (como difusores HF y ComfyUI )
Herramientas de compilación de código PyTorch y potentes núcleos de GPU optimizados para modelos de difusión

Noticias

[23/07/2024] Aceleración de hasta 1,7 veces para Kolors: Informe de aceleración de Kolors
[18/06/2024] Aceleración para modelos DiT: Informe de aceleración SD3, Informe de aceleración PixArt y Informe de aceleración Latte
[2024/04/13] Se lanza OneDiff 1.0 (Aceleración de SD y SVD con una línea de código)
[2024/01/12] Acelerando la difusión de video estable 3 veces más rápido con OneDiff DeepCache + Int8
[2023/12/19] Acelerando SDXL 3 veces más rápido con DeepCache y OneDiff

Contratación

¡Estamos contratando! Si está interesado en trabajar en onediff en SiliconFlow, tenemos puestos abiertos para pasantes e ingenieros en Beijing (cerca de la Universidad de Tsinghua).

Si ha contribuido significativamente al software de código abierto y está interesado en el trabajo remoto, puede contactarnos en [email protected] con onediff en el título del correo electrónico.

Documentación
- Uso con difusores HF y ComfyUI
- Comparación de rendimiento
  - Tiempo SDXL E2E
  - Hora SVD E2E
- Evaluación de calidad
- Comunidad y soporte
- Instalación
  - 0. Compatibilidad con sistema operativo y GPU
  - 1. Instalar antorcha y difusores
  - 2. Instale un compilador backend
    - Nexfort
    - OneFlow
  - 3. Instale onediff
Más sobre onediff
- Arquitectura
- Características
- Aceleración para modelos de última generación
- Aceleración para el entorno de producción.
  - Compilación del módulo PyTorch
  - Evite el tiempo de compilación para una nueva forma de entrada
  - Evite el tiempo de compilación para la publicación en línea
  - Ejecución distribuida
- Solución empresarial OneDiff

Documentación

onediff es la abreviatura de " una línea de código para acelerar los modelos de difusión ".

Uso con difusores HF y ComfyUI

¿Onediff para difusores HF?
onediff para ComfyUI
onediff para la interfaz de usuario web de difusión estable

Comparación de rendimiento

Tiempo SDXL E2E

Estabilidad del modeloai/difusión-estable-xl-base-1.0;
Tamaño de imagen 1024*1024, tamaño de lote 1, pasos 30;
NVIDIA A100 80G SXM4;

Hora SVD E2E

Estabilidad del modeloai/stable-video-diffusion-img2vid-xt;
Tamaño de imagen 576*1024, tamaño de lote 1, pasos 25, tamaño de fragmento de decodificador 5;
NVIDIA A100 80G SXM4;

Tenga en cuenta que no tenemos una forma de ejecutar SVD con TensorRT el 29 de febrero de 2024.

Evaluación de calidad

También mantenemos un repositorio para comparar la calidad de la generación después de la aceleración: odeval

Comunidad y soporte

Crear un problema
Chatear en Discord:
Comunidad y comentarios

Instalación

0. Compatibilidad con sistema operativo y GPU

linux
- Si desea utilizar onediff en Windows, úselo en WSL.
- La guía para instalar onediff en WSL2.
GPU NVIDIA
- Compatibilidad con GPU Nvidia.

1. Instalar antorcha y difusores

Nota: Puedes elegir las últimas versiones que desees para difusores o transformadores.

 python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"

2. Instale un compilador backend

Al considerar la elección entre OneFlow y Nexfort, cualquiera de los dos es opcional y solo uno es necesario.

Para modelos estructurales DiT o dispositivos H100 se recomienda utilizar Nexfort.
Para todos los demás casos, se recomienda utilizar OneFlow. Tenga en cuenta que las optimizaciones dentro de OneFlow se trasladarán gradualmente a Nexfort en el futuro.

Nexfort

Instalar Nexfort es opcional. La introducción detallada de Nexfort está aquí.

python3 -m  pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m  pip install -U nexfort

OneFlow

Instalar OneFlow es opcional.

NOTA: Hemos actualizado OneFlow con frecuencia para onediff, así que instale OneFlow mediante los enlaces a continuación.

CUDA 11.8

Para usuarios de NA/UE

python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118

Para usuarios de CN

python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118

Haga clic para obtener paquetes de OneFlow para otras versiones de CUDA.

CUDA 12.1

Para usuarios de NA/UE

python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121

Para usuarios de CN

python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121

CUDA 12.2

Para usuarios de NA/UE

python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122

Para usuarios de CN

python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122

3. Instale onediff

Desde PyPI

 python3 -m pip install --pre onediff

De la fuente

 git clone https://github.com/siliconflow/onediff.git

 cd onediff && python3 -m pip install -e .

O instalar para desarrollo:

 # install for dev
cd onediff && python3 -m pip install -e '.[dev]'

# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files

NOTA: Si tiene la intención de utilizar complementos para ComfyUI/StableDiffusion-WebUI, le recomendamos encarecidamente instalar OneDiff desde la fuente en lugar de PyPI. Esto es necesario ya que deberá copiar manualmente (o crear un enlace suave) el código relevante en la carpeta de extensión de estas UI/Libs.

Más sobre onediff

Arquitectura

Características

Funcionalidad	Detalles
Tiempo de compilación	Aproximadamente 1 minuto (SDXL)
Métodos de implementación	Conectar y usar
Compatibilidad con tamaño de imagen dinámico	Soporte sin gastos generales
Soporte de modelo	SD1.5~2.1, SDXL, SDXL Turbo, etc.
Soporte de algoritmo	Flujo de trabajo estándar SD, LoRA, ControlNet, SVD, InstantID, SDXL Lightning, etc.
Soporte de marco SD	ComfyUI, Difusores, SD-webui
Guardar y cargar modelos acelerados	Sí
Tiempo de cambio de LoRA	Cientos de milisegundos
Ocupación LoRA	De decenas de MB a cientos de MB.
Soporte de dispositivo	NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10, etc. (Compatibilidad con Ascend en progreso)

Aceleración para modelos de última generación

onediff admite la aceleración para modelos SOTA.

estable: lanzamiento para uso público y tiene soporte a largo plazo;
beta: versión para uso profesional y tiene soporte a largo plazo;
alfa: lanzamiento anticipado para uso experto y se debe tener cuidado al usarlo;

Tipo AIGC	Modelos	Difusores de alta frecuencia		Cómoda interfaz de usuario		Interfaz de usuario web SD
		Comunidad	Empresa	Comunidad	Empresa	Comunidad	Empresa
Imagen	SD 1.5	estable	estable	estable	estable	estable	estable
	DE 2.1	estable	estable	estable	estable	estable	estable
	SDXL	estable	estable	estable	estable	estable	estable
	lora	estable		estable		estable
	ControlNet	estable		estable
	SDXL Turbo	estable		estable
	LCM	estable		estable
	caché profunda SDXL	alfa	alfa	alfa	alfa
	ID instantánea	beta		beta
Video	SVD (difusión de vídeo estable)	estable	estable	estable	estable
	SVD DeepCache	alfa	alfa	alfa	alfa

Aceleración para el entorno de producción.

Compilación del módulo PyTorch

compilación con oneflow_compile

Evite el tiempo de compilación para una nueva forma de entrada

Admite entrada de resolución múltiple

Evite el tiempo de compilación para la publicación en línea

Compile y guarde el resultado compilado sin conexión, luego cárguelo en línea para publicarlo.

Guarde y cargue el gráfico compilado
Compile en un dispositivo (como el dispositivo 0), luego use el resultado compilado en otro dispositivo (como el dispositivo 1 ~ 7). Cambie el dispositivo del gráfico compilado para realizar servicio multiproceso

Ejecución distribuida

Si desea realizar inferencia distribuida, puede utilizar el compilador de onediff para realizar aceleración de un solo dispositivo en un motor de inferencia distribuida como xDiT.

Solución empresarial OneDiff

Si necesita soporte de nivel empresarial para su sistema o negocio, puede enviarnos un correo electrónico a [email protected] o contactarnos a través del sitio web: https://siliconflow.cn/pricing

	Solución empresarial Onediff
Optimización del compilador más extrema para el proceso de difusión	Generalmente otro 20%~30% o más de ganancia de rendimiento
Soluciones integrales para acelerar el flujo de trabajo	A veces 200%~300% de ganancia de rendimiento
Soluciones de implementación de flujo de trabajo de un extremo a otro	Flujo de trabajo para API de modelo en línea
Soporte técnico para la implementación.	Soporte de alta prioridad

Citación

 @misc { 2022onediff ,
  author = { OneDiff Contributors } ,
  title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
  year = { 2022 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/siliconflow/onediff} }
}