首页>编程相关>其他源码
下载

|文档|社区|贡献|不和谐|

onediff是一个开箱即用的扩散模型加速库，它提供：

  • 针对流行 UI/库（例如HF 扩散器和ComfyUI ）的开箱即用加速
  • PyTorch 代码编译工具和针对扩散模型的强大优化GPU 内核

消息

  • [2024/07/23] Kolors 加速高达 1.7 倍：Kolors 加速报告
  • [2024/06/18] DiT模型加速：SD3加速报告、PixArt加速报告、Latte加速报告
  • [2024/04/13] OneDiff 1.0发布（一行代码加速SD&SVD）
  • [2024/01/12] 使用 OneDiff DeepCache + Int8 将稳定视频扩散速度提高 3 倍
  • [2023/12/19] 使用 DeepCache 和 OneDiff 将 SDXL 加速速度提高 3 倍

招聘

我们正在招聘！如果您有兴趣在 SiliconFlow 从事 onediff 工作，我们在北京（清华大学附近）为实习生和工程师提供职位空缺。

如果您对开源软件做出了重大贡献并且对远程工作感兴趣，您可以通过[email protected]与我们联系，电子邮件标题中包含onediff 。

  • 文档
    • 与高频扩散器和 ComfyUI 一起使用
    • 性能对比
      • SDXL E2E时间
      • SVD E2E时间
    • 质量评价
    • 社区和支持
    • 安装
      • 0. 操作系统和GPU兼容性
      • 1. 安装割炬和扩散器
      • 2.安装编译器后端
        • 内克斯福特
        • 单一流
      • 3.安装onediff
  • 关于奥内迪夫的更多信息
    • 建筑学
    • 特征
    • 最先进模型的加速
    • 生产环境加速
      • PyTorch模块编译
      • 避免新输入形状的编译时间
      • 避免在线服务的编译时间
      • 分布式运行
    • OneDiff 企业解决方案

文档

onediff 是“一行代码加速扩散模型”的缩写。

与高频扩散器和 ComfyUI 一起使用

  • 高频扩散器的 onediff ？
  • ComfyUI 的 onediff
  • onediff 用于稳定扩散 Web UI

性能对比

SDXL E2E时间

  • 模型稳定性ai/stable-diffusion-xl-base-1.0;
  • 图像大小1024*1024，批量大小1，步长30；
  • NVIDIA A100 80G SXM4；

SVD E2E时间

  • 模型稳定性ai/stable-video-diffusion-img2vid-xt；
  • 图像大小576*1024，批量大小1，步长25，解码器块大小5；
  • NVIDIA A100 80G SXM4；

请注意，我们还没有办法在 2024 年 2 月 29 日使用 TensorRT 运行 SVD。

质量评价

我们还维护一个存储库，用于对加速后的生成质量进行基准测试：odeval

社区和支持

  • 创建问题
  • 在 Discord 中聊天：
  • 社区和反馈

安装

0. 操作系统和GPU兼容性

  • Linux
    • 如果您想在 Windows 上使用 onediff，请在 WSL 下使用它。
    • 在 WSL2 中安装 onediff 的指南。
  • NVIDIA GPU
    • 与 Nvidia GPU 的兼容性。

1. 安装割炬和扩散器

注意：您可以为扩散器或变压器选择所需的最新版本。 

 python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"

2.安装编译器后端

在考虑 OneFlow 和 Nexfort 之间的选择时，其中之一是可选的，并且只需要一个。

  • 对于DiT结构模型或H100设备，建议使用Nexfort。

  • 对于所有其他情况，建议使用 OneFlow。请注意，OneFlow 内的优化将来会逐渐过渡到 Nexfort。

内克斯福特

安装 Nexfort 是可选的。 Nexfort的详细介绍在这里。 

python3 -m  pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m  pip install -U nexfort
单一流

安装 OneFlow 是可选的。

注意：我们经常为 onediff 更新 OneFlow，因此请通过以下链接安装 OneFlow。

  • CUDA 11.8

    对于北美/欧盟用户

    python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118

    对于中国用户

    python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118
单击获取其他 CUDA 版本的 OneFlow 包。

  • CUDA 12.1

    对于北美/欧盟用户

    python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121

    对于中国用户

    python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121

  • CUDA 12.2

    对于北美/欧盟用户

    python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122

    对于中国用户

    python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122

3.安装onediff

  • 来自 PyPI 
 python3 -m pip install --pre onediff
  • 从源头
 git clone https://github.com/siliconflow/onediff.git

 cd onediff && python3 -m pip install -e .

或者安装进行开发： 

 # install for dev
cd onediff && python3 -m pip install -e '.[dev]'

# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files

注意：如果您打算使用 ComfyUI/StableDiffusion-WebUI 的插件，我们强烈建议从源安装 OneDiff 而不是 PyPI。这是必要的，因为您需要手动将相关代码复制（或创建软链接）到这些 UI/Lib 的扩展文件夹中。

关于奥内迪夫的更多信息

建筑学

特征

功能性细节
编译时间约1分钟（SDXL）
部署方式即插即用
动态图像尺寸支持无开销支持
型号支持SD1.5~2.1、SDXL、SDXL Turbo等
算法支持SD标准工作流程、LoRA、ControlNet、SVD、InstantID、SDXL Lightning等
SD框架支持ComfyUI、扩散器、SD-webui
保存和加载加速模型是的
LoRA切换时间数百毫秒
LoRA占用率几十MB到几百MB。
设备支持NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10等（与Ascend的兼容性正在进行中）

最先进模型的加速

onediff 支持 SOTA 模型的加速。

  • stable：发布供公众使用，并有长期支持；
  • beta：面向专业用途发布，并拥有长期支持；
  • alpha：早期发布供专家使用，应谨慎使用；
AIGC类型型号高频扩散器舒适用户界面SD 网络用户界面
社区企业社区企业社区企业
图像标准差1.5稳定的稳定的稳定的稳定的稳定的稳定的
标清2.1稳定的稳定的稳定的稳定的稳定的稳定的
SDXL稳定的稳定的稳定的稳定的稳定的稳定的
洛拉稳定的稳定的稳定的
控制网稳定的稳定的
SDXL涡轮增压稳定的稳定的
液晶模组稳定的稳定的
SDXL 深度缓存阿尔法阿尔法阿尔法阿尔法
即时ID贝塔贝塔
视频SVD（稳定视频扩散）稳定的稳定的稳定的稳定的
SVD深度缓存阿尔法阿尔法阿尔法阿尔法

生产环境加速

PyTorch模块编译

  • 使用 oneflow_compile 进行编译

避免新输入形状的编译时间

  • 支持多分辨率输入

避免在线服务的编译时间

离线编译并保存编译结果，然后在线加载服务

  • 保存并加载编译后的图表
  • 在一台设备（如设备0）上编译，然后将编译结果用于其他设备（如设备1~7）。更改编译图的设备以进行多进程服务

分布式运行

如果想做分布式推理，可以使用onediff的编译器在xDiT等分布式推理引擎中做单设备加速

OneDiff 企业解决方案

如果您的系统或业务需要企业级支持，您可以发送电子邮件至 [email protected]，或通过网站联系我们：https://siliconflow.cn/pricing

Onediff 企业解决方案
对扩散过程进行更极端的编译器优化通常另外 20%~30% 或更多的性能增益
端到端工作流程加速解决方案有时性能提升 200%~300%
端到端工作流程部署解决方案在线模型 API 的工作流程
部署技术支持高优先级支持

引文

 @misc { 2022onediff ,
  author = { OneDiff Contributors } ,
  title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
  year = { 2022 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/siliconflow/onediff} }
}
展开
附加信息
相关应用
为您推荐
相关资讯 全部