หนึ่งดิฟฟ์
1.2.0(SD3, Latte and Kolors acceleratoin)
- เอกสารประกอบ | ชุมชน | เงินสมทบ | ไม่ลงรอยกัน |
onediff เป็นไลบรารีการเร่งความเร็วที่พร้อมใช้งานทันทีสำหรับโมเดลการแพร่กระจาย โดยมี:
เรากำลังจ้าง! หากคุณสนใจที่จะทำงานกับ onediff ที่ SiliconFlow เราเปิดรับตำแหน่งงานสำหรับผู้ฝึกงานและวิศวกรในกรุงปักกิ่ง (ใกล้กับมหาวิทยาลัย Tsinghua)
หากคุณมีส่วนร่วมอย่างมากต่อซอฟต์แวร์โอเพ่นซอร์สและสนใจในการทำงานจากระยะไกล คุณสามารถติดต่อเราได้ที่ [email protected] พร้อมระบุ onediff ในชื่ออีเมล
onediff เป็นตัวย่อของ "โค้ด หนึ่ง บรรทัดเพื่อเร่งโมเดลการใช้งาน diff "
โปรดทราบว่าเราไม่มีวิธีเรียกใช้ SVD ด้วย TensorRT ในวันที่ 29 กุมภาพันธ์ 2024
นอกจากนี้เรายังรักษาพื้นที่เก็บข้อมูลสำหรับการเปรียบเทียบคุณภาพของรุ่นหลังการเร่งความเร็ว: odeval
หมายเหตุ: คุณสามารถเลือกเวอร์ชันล่าสุดสำหรับดิฟฟิวเซอร์หรือหม้อแปลงได้
python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"
เมื่อพิจารณาตัวเลือกระหว่าง OneFlow และ Nexfort ทั้งสองรายการเป็นทางเลือก และจำเป็นต้องใช้เพียงรายการเดียวเท่านั้น
สำหรับรุ่นโครงสร้าง DiT หรืออุปกรณ์ H100 ขอแนะนำให้ใช้ Nexfort
สำหรับกรณีอื่นๆ ทั้งหมด ขอแนะนำให้ใช้ OneFlow โปรดทราบว่าการเพิ่มประสิทธิภาพภายใน OneFlow จะค่อยๆ เปลี่ยนไปเป็น Nexfort ในอนาคต
ติดตั้ง Nexfort เป็นทางเลือก การแนะนำโดยละเอียดของ Nexfort อยู่ที่นี่
python3 -m pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m pip install -U nexfortติดตั้ง OneFlow เป็นทางเลือก
หมายเหตุ: เราได้อัปเดต OneFlow บ่อยครั้งสำหรับ onediff ดังนั้นโปรดติดตั้ง OneFlow ตามลิงก์ด้านล่าง
CUDA 11.8
สำหรับผู้ใช้ NA/EU
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118สำหรับผู้ใช้ CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118CUDA 12.1
สำหรับผู้ใช้ NA/EU
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121สำหรับผู้ใช้ CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121CUDA 12.2
สำหรับผู้ใช้ NA/EU
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122สำหรับผู้ใช้ CN
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122 python3 -m pip install --pre onediff
git clone https://github.com/siliconflow/onediff.git
cd onediff && python3 -m pip install -e .
หรือติดตั้งเพื่อการพัฒนา:
# install for dev
cd onediff && python3 -m pip install -e '.[dev]'
# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files
หมายเหตุ: หากคุณต้องการใช้ปลั๊กอินสำหรับ ComfyUI/StableDiffusion-WebUI เราขอแนะนำอย่างยิ่งให้ติดตั้ง OneDiff จากต้นทาง แทนที่จะเป็น PyPI นี่เป็นสิ่งจำเป็นเนื่องจากคุณจะต้องคัดลอก (หรือสร้างซอฟต์ลิงก์) ด้วยตนเองสำหรับโค้ดที่เกี่ยวข้องลงในโฟลเดอร์ส่วนขยายของ UIs/Libs เหล่านี้
| ฟังก์ชั่นการทำงาน | รายละเอียด |
|---|---|
| เวลาในการรวบรวม | ประมาณ 1 นาที (SDXL) |
| วิธีการปรับใช้ | เสียบและเล่น |
| รองรับขนาดภาพแบบไดนามิก | สนับสนุนโดยไม่มีค่าใช้จ่ายใดๆ |
| รองรับโมเดล | SD1.5~2.1, SDXL, SDXL เทอร์โบ ฯลฯ |
| การสนับสนุนอัลกอริทึม | ขั้นตอนการทำงานมาตรฐาน SD, LoRA, ControlNet, SVD, InstantID, SDXL Lightning ฯลฯ |
| รองรับกรอบ SD | ComfyUI, ดิฟฟิวเซอร์, SD-webui |
| บันทึกและโหลดโมเดลเร่งความเร็ว | ใช่ |
| เวลาของการสลับ LoRA | หลายร้อยมิลลิวินาที |
| อัตราการเข้าพัก LoRA | ตั้งแต่สิบ MB ถึงหลายร้อย MB |
| การสนับสนุนอุปกรณ์ | NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10 ฯลฯ (กำลังเข้ากันได้กับ Ascend) |
onediff รองรับการเร่งความเร็วสำหรับรุ่น SOTA
| ประเภท AIGC | โมเดล | เครื่องกระจายคลื่น HF | UI ที่สะดวกสบาย | UI เว็บ SD | |||
|---|---|---|---|---|---|---|---|
| ชุมชน | องค์กร | ชุมชน | องค์กร | ชุมชน | องค์กร | ||
| ภาพ | เอสดี 1.5 | มั่นคง | มั่นคง | มั่นคง | มั่นคง | มั่นคง | มั่นคง |
| SD2.1 | มั่นคง | มั่นคง | มั่นคง | มั่นคง | มั่นคง | มั่นคง | |
| SDXL | มั่นคง | มั่นคง | มั่นคง | มั่นคง | มั่นคง | มั่นคง | |
| โลรา | มั่นคง | มั่นคง | มั่นคง | ||||
| คอนโทรลเน็ต | มั่นคง | มั่นคง | |||||
| SDXL เทอร์โบ | มั่นคง | มั่นคง | |||||
| ล.ซี.เอ็ม | มั่นคง | มั่นคง | |||||
| SDXL DeepCache | อัลฟ่า | อัลฟ่า | อัลฟ่า | อัลฟ่า | |||
| รหัสทันที | เบต้า | เบต้า | |||||
| วีดีโอ | SVD (การแพร่กระจายวิดีโอที่เสถียร) | มั่นคง | มั่นคง | มั่นคง | มั่นคง | ||
| SVD ดีพแคช | อัลฟ่า | อัลฟ่า | อัลฟ่า | อัลฟ่า |
คอมไพล์และบันทึกผลลัพธ์ที่คอมไพล์แล้วออฟไลน์ จากนั้นโหลดออนไลน์เพื่อให้บริการ
หากคุณต้องการทำการอนุมานแบบกระจาย คุณสามารถใช้คอมไพเลอร์ของ onediff เพื่อเร่งความเร็วอุปกรณ์เดียวในกลไกการอนุมานแบบกระจาย เช่น xDiT
หากคุณต้องการการสนับสนุนระดับองค์กรสำหรับระบบหรือธุรกิจของคุณ คุณสามารถส่งอีเมลถึงเราได้ที่ [email protected] หรือติดต่อเราผ่านทางเว็บไซต์: https://siliconflow.cn/pricing
| โซลูชันองค์กรของ Onediff | |
|---|---|
| การเพิ่มประสิทธิภาพคอมไพเลอร์ขั้นสูงยิ่งขึ้นสำหรับกระบวนการแพร่กระจาย | โดยปกติแล้วประสิทธิภาพจะเพิ่มขึ้นอีก 20%~30% หรือมากกว่านั้น |
| โซลูชันการเร่งความเร็วเวิร์กโฟลว์แบบ end-to-end | บางครั้งประสิทธิภาพจะเพิ่มขึ้น 200%~300% |
| โซลูชันการปรับใช้เวิร์กโฟลว์แบบ end-to-end | เวิร์กโฟลว์ไปยัง API โมเดลออนไลน์ |
| การสนับสนุนด้านเทคนิคสำหรับการปรับใช้ | การสนับสนุนที่มีลำดับความสำคัญสูง |
@misc { 2022onediff ,
author = { OneDiff Contributors } ,
title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
year = { 2022 } ,
publisher = { GitHub } ,
journal = { GitHub repository } ,
howpublished = { url{https://github.com/siliconflow/onediff} }
}
