onediff
1.2.0(SD3, Latte and Kolors acceleratoin)
| Dokumentasi | Komunitas | Kontribusi | Perselisihan |
onediff adalah perpustakaan akselerasi out-of-the-box untuk model difusi, yang menyediakan:
Kami sedang merekrut! Jika Anda tertarik untuk bekerja di onediff di SiliconFlow, kami membuka posisi untuk Magang dan Insinyur di Beijing (dekat Universitas Tsinghua).
Jika Anda telah berkontribusi secara signifikan terhadap perangkat lunak sumber terbuka dan tertarik pada pekerjaan jarak jauh, Anda dapat menghubungi kami di [email protected] dengan onediff di judul email.
onediff adalah singkatan dari " satu baris kode untuk mempercepat model difusi ".
Perlu diperhatikan bahwa kami belum memiliki cara untuk menjalankan SVD dengan TensorRT pada 29 Februari 2024.
Kami juga memelihara repositori untuk membandingkan kualitas pembangkitan setelah akselerasi: odeval
Catatan: Anda dapat memilih versi terbaru yang Anda inginkan untuk diffuser atau trafo.
python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"
Saat mempertimbangkan pilihan antara OneFlow dan Nexfort, salah satunya bersifat opsional, dan hanya satu yang diperlukan.
Untuk model struktural DiT atau perangkat H100, disarankan untuk menggunakan Nexfort.
Untuk semua kasus lainnya, disarankan untuk menggunakan OneFlow. Perhatikan bahwa pengoptimalan dalam OneFlow secara bertahap akan beralih ke Nexfort di masa mendatang.
Instal Nextfort adalah Opsional. Pengenalan rinci Nexfort ada di sini.
python3 -m pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m pip install -U nexfortInstal OneFlow adalah Opsional.
CATATAN: Kami telah sering memperbarui OneFlow untuk onediff, jadi silakan instal OneFlow melalui tautan di bawah.
CUDA 11.8
Untuk pengguna NA/UE
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118Untuk pengguna CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118CUDA 12.1
Untuk pengguna NA/UE
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121Untuk pengguna CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121CUDA 12.2
Untuk pengguna NA/UE
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122Untuk pengguna CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122 python3 -m pip install --pre onediff
git clone https://github.com/siliconflow/onediff.git
cd onediff && python3 -m pip install -e .
Atau instal untuk pengembangan:
# install for dev
cd onediff && python3 -m pip install -e '.[dev]'
# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files
CATATAN: Jika Anda ingin menggunakan plugin untuk ComfyUI/StableDiffusion-WebUI, kami sangat menyarankan untuk menginstal OneDiff dari sumbernya, bukan PyPI. Ini diperlukan karena Anda harus menyalin secara manual (atau membuat tautan lunak) untuk kode yang relevan ke dalam folder ekstensi UI/Lib ini.
| Fungsionalitas | Detail |
|---|---|
| Waktu Kompilasi | Sekitar 1 menit (SDXL) |
| Metode Penerapan | Pasang dan Mainkan |
| Dukungan Ukuran Gambar Dinamis | Dukungan tanpa overhead |
| Dukungan Model | SD1.5~2.1, SDXL, SDXL Turbo, dll. |
| Dukungan Algoritma | Alur kerja standar SD, LoRA, ControlNet, SVD, InstantID, SDXL Lightning, dll. |
| Dukungan Kerangka SD | UI Nyaman, Diffuser, SD-webui |
| Simpan & Muat Model yang Dipercepat | Ya |
| Waktu Peralihan LoRA | Ratusan milidetik |
| Hunian LoRA | Puluhan MB hingga ratusan MB. |
| Dukungan Perangkat | NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10 dll. (Kompatibilitas dengan Ascend sedang berlangsung) |
onediff mendukung akselerasi untuk model SOTA.
| Tipe AIGC | Model | Penyebar HF | UI yang nyaman | UI web SD | |||
|---|---|---|---|---|---|---|---|
| Masyarakat | Perusahaan | Masyarakat | Perusahaan | Masyarakat | Perusahaan | ||
| Gambar | SD 1.5 | stabil | stabil | stabil | stabil | stabil | stabil |
| SD 2.1 | stabil | stabil | stabil | stabil | stabil | stabil | |
| SDXL | stabil | stabil | stabil | stabil | stabil | stabil | |
| LoRA | stabil | stabil | stabil | ||||
| KontrolNet | stabil | stabil | |||||
| SDXL Turbo | stabil | stabil | |||||
| KPK | stabil | stabil | |||||
| SDXL DeepCache | alfa | alfa | alfa | alfa | |||
| ID Instan | beta | beta | |||||
| Video | SVD (Difusi Video stabil) | stabil | stabil | stabil | stabil | ||
| SVD DeepCache | alfa | alfa | alfa | alfa |
Kompilasi dan simpan hasil kompilasi secara offline, lalu muat secara online untuk disajikan
Jika Anda ingin melakukan inferensi terdistribusi, Anda dapat menggunakan kompiler onediff untuk melakukan akselerasi perangkat tunggal dalam mesin inferensi terdistribusi seperti xDiT
Jika Anda memerlukan Dukungan Tingkat Perusahaan untuk sistem atau bisnis Anda, Anda dapat mengirim email kepada kami di [email protected], atau menghubungi kami melalui situs web: https://siliconflow.cn/pricing
| Solusi Perusahaan Onediff | |
|---|---|
| Optimasi kompiler yang lebih ekstrim untuk proses difusi | Biasanya peningkatan kinerja 20%~30% atau lebih lainnya |
| Solusi percepatan alur kerja menyeluruh | Terkadang peningkatan kinerja 200%~300%. |
| Solusi penerapan alur kerja ujung ke ujung | Alur kerja ke API model online |
| Dukungan teknis untuk penerapan | Dukungan prioritas tinggi |
@misc { 2022onediff ,
author = { OneDiff Contributors } ,
title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
year = { 2022 } ,
publisher = { GitHub } ,
journal = { GitHub repository } ,
howpublished = { url{https://github.com/siliconflow/onediff} }
}
