onediff

Outro código-fonte

1.2.0(SD3, Latte and Kolors acceleratoin)

Baixar

onediff é uma biblioteca de aceleração pronta para uso para modelos de difusão que fornece:

Aceleração pronta para uso para UIs/libs populares (como difusores HF e ComfyUI )
Ferramentas de compilação de código PyTorch e kernels de GPU otimizados para modelos de difusão

Notícias

[2024/07/23] Aceleração de até 1,7x para Kolors: Relatório de aceleração de Kolors
[2024/06/18] Aceleração para modelos DiT: Relatório de aceleração SD3, Relatório de aceleração PixArt e Relatório de aceleração Latte
[2024/04/13] OneDiff 1.0 é lançado (aceleração de SD e SVD com uma linha de código)
[2024/01/12] Acelerando a difusão de vídeo estável 3x mais rápido com OneDiff DeepCache + Int8
[2023/12/19] Acelerando SDXL 3x mais rápido com DeepCache e OneDiff

Contratando

Estamos contratando! Se você estiver interessado em trabalhar no onediff na SiliconFlow, temos vagas abertas para estagiários e engenheiros em Pequim (perto da Universidade Tsinghua).

Se você contribuiu significativamente para o software de código aberto e está interessado em trabalho remoto, entre em contato conosco pelo e-mail [email protected] com onediff no título do e-mail.

Documentação
- Use com difusores HF e ComfyUI
- Comparação de desempenho
  - Hora SDXL E2E
  - Hora SVD E2E
- Avaliação de Qualidade
- Comunidade e Suporte
- Instalação
  - 0. Compatibilidade de sistema operacional e GPU
  - 1. Instale tocha e difusores
  - 2. Instale um back-end do compilador
    - Nextor
    - OneFlow
  - 3. Instale o onediff
Mais sobre onediff
- Arquitetura
- Características
- Aceleração para modelos de última geração
- Aceleração para ambiente de produção
  - Compilação do módulo PyTorch
  - Evite o tempo de compilação para um novo formato de entrada
  - Evite tempo de compilação para veiculação on-line
  - Execução Distribuída
- Solução empresarial OneDiff

Documentação

onediff é a abreviatura de “ uma linha de código para acelerar modelos de difusão ”.

Use com difusores HF e ComfyUI

onediff para difusores HF?
onediff para ComfyUI
onediff para interface da web de difusão estável

Comparação de desempenho

Hora SDXL E2E

Estabilidade do modeloai/difusão estável-xl-base-1.0;
Tamanho da imagem 1024*1024, tamanho do lote 1, etapas 30;
NVIDIA A100 80GSXM4;

Hora SVD E2E

Estabilidade do modeloai/stable-video-diffusion-img2vid-xt;
Tamanho da imagem 576*1024, tamanho do lote 1, etapas 25, tamanho do pedaço do decodificador 5;
NVIDIA A100 80GSXM4;

Observe que não temos como executar SVD com TensorRT em 29 de fevereiro de 2024.

Avaliação de Qualidade

Também mantemos um repositório para benchmarking da qualidade da geração após aceleração: odeval

Comunidade e Suporte

Crie um problema
Bate-papo no Discord:
Comunidade e Feedback

Instalação

0. Compatibilidade de sistema operacional e GPU

Linux
- Se você quiser usar o onediff no Windows, use-o no WSL.
- O guia para instalar o onediff no WSL2.
GPUs NVIDIA
- Compatibilidade com GPUs Nvidia.

1. Instale tocha e difusores

Nota: Você pode escolher as versões mais recentes que desejar para difusores ou transformadores.

 python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"

2. Instale um back-end do compilador

Ao considerar a escolha entre OneFlow e Nexfort, qualquer um deles é opcional e apenas um é necessário.

Para modelos estruturais DiT ou dispositivos H100, recomenda-se a utilização de Nexfort.
Para todos os outros casos, recomenda-se a utilização do OneFlow. Observe que as otimizações no OneFlow farão a transição gradual para o Nexfort no futuro.

Nextor

Instalar Nextfort é opcional. A introdução detalhada do Nexfort está aqui.

python3 -m  pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m  pip install -U nexfort

OneFlow

Instalar OneFlow é opcional.

NOTA: Atualizamos o OneFlow frequentemente para o onediff, portanto, instale o OneFlow pelos links abaixo.

CUDA11.8

Para usuários NA/UE

python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118

Para usuários CN

python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118

Clique para obter pacotes OneFlow para outras versões CUDA.

CUDA12.1

Para usuários NA/UE

python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121

Para usuários CN

python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121

CUDA 12.2

Para usuários NA/UE

python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122

Para usuários CN

python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122

3. Instale o onediff

Do PyPI

 python3 -m pip install --pre onediff

Da fonte

 git clone https://github.com/siliconflow/onediff.git

 cd onediff && python3 -m pip install -e .

Ou instale para desenvolvimento:

 # install for dev
cd onediff && python3 -m pip install -e '.[dev]'

# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files

NOTA: Se você pretende utilizar plug-ins para ComfyUI/StableDiffusion-WebUI, é altamente recomendável instalar o OneDiff da fonte em vez do PyPI. Isso é necessário porque você precisará copiar manualmente (ou criar um link virtual) o código relevante na pasta de extensão dessas UIs/Libs.

Mais sobre onediff

Arquitetura

Características

Funcionalidade	Detalhes
Tempo de compilação	Cerca de 1 minuto (SDXL)
Métodos de implantação	Plug and Play
Suporte para tamanho de imagem dinâmico	Suporte sem sobrecarga
Suporte ao modelo	SD1.5~2.1, SDXL, SDXL Turbo, etc.
Suporte a algoritmo	Fluxo de trabalho padrão SD, LoRA, ControlNet, SVD, InstantID, SDXL Lightning, etc.
Suporte à estrutura SD	ComfyUI, Difusores, SD-webui
Salvar e carregar modelos acelerados	Sim
Hora da troca LoRA	Centenas de milissegundos
Ocupação LoRA	Dezenas de MB a centenas de MB.
Suporte a dispositivos	NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10 etc. (Compatibilidade com Ascend em andamento)

Aceleração para modelos de última geração

onediff suporta aceleração para modelos SOTA.

estável: liberado para uso público e com suporte de longo prazo;
beta: lançado para uso profissional e com suporte de longo prazo;
alfa: lançamento antecipado para uso especializado e uso cuidadoso;

Tipo AIGC	Modelos	Difusores HF		UI confortável		IU da web SD
		Comunidade	Empresa	Comunidade	Empresa	Comunidade	Empresa
Imagem	DP 1,5	estável	estável	estável	estável	estável	estável
	SD 2.1	estável	estável	estável	estável	estável	estável
	SDXL	estável	estável	estável	estável	estável	estável
	LoRA	estável		estável		estável
	ControlNet	estável		estável
	SDXL Turbo	estável		estável
	LCM	estável		estável
	SDXL DeepCache	alfa	alfa	alfa	alfa
	ID Instantâneo	beta		beta
Vídeo	SVD (difusão de vídeo estável)	estável	estável	estável	estável
	SVD DeepCache	alfa	alfa	alfa	alfa

Aceleração para ambiente de produção

Compilação do módulo PyTorch

compilação com oneflow_compile

Evite o tempo de compilação para um novo formato de entrada

Suporta entrada multi-resolução

Evite tempo de compilação para veiculação on-line

Compile e salve o resultado compilado off-line e, em seguida, carregue-o on-line para veiculação

Salve e carregue o gráfico compilado
Compile em um dispositivo (como o dispositivo 0) e use o resultado compilado em outro dispositivo (como o dispositivo 1 a 7). Altere o dispositivo do gráfico compilado para servir multiprocessos

Execução Distribuída

Se quiser fazer inferência distribuída, você pode usar o compilador onediff para fazer aceleração de dispositivo único em um mecanismo de inferência distribuída como xDiT

Solução empresarial OneDiff

Se precisar de suporte de nível empresarial para o seu sistema ou negócio, você pode nos enviar um e-mail para [email protected] ou entrar em contato conosco através do site: https://siliconflow.cn/pricing

	Solução Empresarial Onediff
Otimização mais extrema do compilador para processo de difusão	Geralmente outros 20%~30% ou mais de ganho de desempenho
Soluções completas para acelerar o fluxo de trabalho	Às vezes, ganho de desempenho de 200% a 300%
Soluções completas de implantação de fluxo de trabalho	Fluxo de trabalho para API de modelo online
Suporte técnico para implantação	Suporte de alta prioridade

Citação

 @misc { 2022onediff ,
  author = { OneDiff Contributors } ,
  title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
  year = { 2022 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/siliconflow/onediff} }
}