원디프
1.2.0(SD3, Latte and Kolors acceleratoin)
| 문서 | 커뮤니티 | 기여 | 불화 |
onediff 는 확산 모델을 위한 기본 가속 라이브러리로 다음을 제공합니다.
우리는 채용 중입니다! SiliconFlow에서 onediff 작업에 관심이 있다면 베이징(Tsinghua University 근처)에서 인턴 및 엔지니어를 위한 채용 공고가 있습니다.
오픈 소스 소프트웨어에 크게 기여했고 원격 작업에 관심이 있는 경우 이메일 제목에 onediff 입력하여 [email protected] 으로 문의하실 수 있습니다.
onediff는 " 확산 모델을 가속화하는 한 줄의 코드"의 약어입니다.
2024년 2월 29일에는 TensorRT를 사용하여 SVD를 실행할 방법이 없습니다.
우리는 또한 가속 후 생성 품질을 벤치마킹하기 위한 저장소를 유지 관리합니다: odeval
참고: 디퓨저 또는 변압기에 대해 원하는 최신 버전을 선택할 수 있습니다.
python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"
OneFlow와 Nexfort 사이의 선택을 고려할 때 둘 중 하나는 선택 사항이고 하나만 필요합니다.
DiT 구조 모델이나 H100 장치의 경우 Nexfort를 사용하는 것이 좋습니다.
다른 모든 경우에는 OneFlow를 사용하는 것이 좋습니다. OneFlow 내의 최적화는 향후 점진적으로 Nexfort로 전환될 예정입니다.
Nexfort 설치는 선택사항입니다. 넥스포트에 대한 자세한 소개는 여기에서 확인하세요.
python3 -m pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m pip install -U nexfortOneFlow 설치는 선택 사항입니다.
참고: onediff에 대해 OneFlow를 자주 업데이트하고 있으므로 아래 링크를 통해 OneFlow를 설치하시기 바랍니다.
쿠다 11.8
NA/EU 사용자의 경우
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118CN 사용자의 경우
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118쿠다 12.1
NA/EU 사용자의 경우
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121CN 사용자의 경우
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121쿠다 12.2
NA/EU 사용자의 경우
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122CN 사용자의 경우
python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122 python3 -m pip install --pre onediff
git clone https://github.com/siliconflow/onediff.git
cd onediff && python3 -m pip install -e .
또는 개발을 위해 설치하십시오.
# install for dev
cd onediff && python3 -m pip install -e '.[dev]'
# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files
참고: ComfyUI/StableDiffusion-WebUI용 플러그인을 활용하려는 경우 PyPI가 아닌 소스에서 OneDiff를 설치하는 것이 좋습니다. 관련 코드를 이러한 UI/Libs의 확장 폴더에 수동으로 복사(또는 소프트 링크 생성)해야 하기 때문에 이는 필요합니다.
| 기능성 | 세부 |
|---|---|
| 컴파일 시간 | 약 1분(SDXL) |
| 배포 방법 | 플러그 앤 플레이 |
| 동적 이미지 크기 지원 | 오버헤드 없이 지원 |
| 모델 지원 | SD1.5~2.1, SDXL, SDXL 터보 등 |
| 알고리즘 지원 | SD 표준 워크플로우, LoRA, ControlNet, SVD, InstantID, SDXL Lightning 등 |
| SD 프레임워크 지원 | ComfyUI, 디퓨저, SD-webui |
| 가속 모델 저장 및 로드 | 예 |
| LoRA 전환 시간 | 수백 밀리초 |
| LoRA 점유 | 수십MB에서 수백MB까지 가능합니다. |
| 장치 지원 | NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10 등 (Ascend와의 호환성 진행 중) |
onediff는 SOTA 모델의 가속을 지원합니다.
| AIGC 유형 | 모델 | HF 디퓨저 | ComfyUI | SD 웹 UI | |||
|---|---|---|---|---|---|---|---|
| 지역 사회 | 기업 | 지역 사회 | 기업 | 지역 사회 | 기업 | ||
| 영상 | SD 1.5 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | 안정적인 |
| SD 2.1 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | |
| SDXL | 안정적인 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | 안정적인 | |
| 로라 | 안정적인 | 안정적인 | 안정적인 | ||||
| 컨트롤넷 | 안정적인 | 안정적인 | |||||
| SDXL 터보 | 안정적인 | 안정적인 | |||||
| LCM | 안정적인 | 안정적인 | |||||
| SDXL 딥캐시 | 알파 | 알파 | 알파 | 알파 | |||
| 인스턴트ID | 베타 | 베타 | |||||
| 동영상 | SVD(안정적인 비디오 확산) | 안정적인 | 안정적인 | 안정적인 | 안정적인 | ||
| SVD 딥캐시 | 알파 | 알파 | 알파 | 알파 |
컴파일된 결과를 오프라인으로 컴파일하고 저장한 후 온라인으로 로드하여 제공
분산 추론을 수행하려면 onediff의 컴파일러를 사용하여 xDiT와 같은 분산 추론 엔진에서 단일 장치 가속을 수행할 수 있습니다.
시스템이나 비즈니스에 엔터프라이즈급 지원이 필요한 경우 [email protected]으로 이메일을 보내거나 웹사이트(https://siliconflow.cn/pricing)를 통해 문의할 수 있습니다.
| 원디프 엔터프라이즈 솔루션 | |
|---|---|
| 확산 프로세스를 위한 더욱 극단적인 컴파일러 최적화 | 일반적으로 20%~30% 이상의 성능 향상이 추가됩니다. |
| 엔드투엔드 워크플로 속도 향상 솔루션 | 때때로 200%~300% 성능 향상 |
| 엔드투엔드 워크플로 배포 솔루션 | 온라인 모델 API에 대한 워크플로 |
| 배포를 위한 기술 지원 | 최우선 지원 |
@misc { 2022onediff ,
author = { OneDiff Contributors } ,
title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
year = { 2022 } ,
publisher = { GitHub } ,
journal = { GitHub repository } ,
howpublished = { url{https://github.com/siliconflow/onediff} }
}
