onediff

| التوثيق | المجتمع | مساهمة | الخلاف |

---

onediff عبارة عن مكتبة تسريع جاهزة لنماذج الانتشار، وهي توفر ما يلي:

• تسريع خارج الصندوق لواجهات المستخدم/المكتبات الشائعة (مثل ناشرات التردد العالي و ComfyUI )
• أدوات تجميع أكواد PyTorch ونواة GPU المحسنة القوية لنماذج الانتشار

أخبار

• [2024/07/23] تسريع يصل إلى 1.7 مرة لـ Kolors: تقرير تسريع Kolors
• [2024/06/18] التسريع لنماذج DiT: تقرير تسريع SD3 وتقرير تسريع PixArt وتقرير تسريع Latte
• [2024/04/13] تم إصدار OneDiff 1.0 (تسريع SD وSVD بسطر واحد من التعليمات البرمجية)
• [2024/01/12] تسريع نشر الفيديو المستقر بشكل أسرع 3 مرات باستخدام OneDiff DeepCache + Int8
• [2023/12/19] تسريع SDXL 3x بشكل أسرع باستخدام DeepCache وOneDiff

التوظيف

نحن نوظف! إذا كنت مهتمًا بالعمل على Oneiff في SiliconFlow، فلدينا أدوار مفتوحة للمتدربين والمهندسين في بكين (بالقرب من جامعة Tsinghua).

إذا كنت قد ساهمت بشكل كبير في البرامج مفتوحة المصدر وكنت مهتمًا بالعمل عن بعد، فيمكنك الاتصال بنا على [email protected] مع onediff في عنوان البريد الإلكتروني.

---

• التوثيق
  • يُستخدم مع أجهزة نشر التردد العالي وComfyUI
  • مقارنة الأداء
    • وقت SDXL E2E
    • وقت SVD E2E
  • تقييم الجودة
  • المجتمع والدعم
  • تثبيت
    • 0. التوافق مع نظام التشغيل ووحدة معالجة الرسومات
    • 1. قم بتركيب الشعلة والناشرات
    • 2. قم بتثبيت الواجهة الخلفية للمترجم
      • نيكفورت
      • تدفق واحد
    • 3. قم بتثبيت Oneiff
• المزيد عن أونيدف
  • بنيان
  • سمات
  • تسريع لأحدث الموديلات
  • تسريع بيئة الإنتاج
    • تجميع وحدة PyTorch
    • تجنب وقت التجميع لشكل الإدخال الجديد
    • تجنب وقت التجميع للعرض عبر الإنترنت
    • تشغيل موزع
  • حل OneDiff للمؤسسات

التوثيق

Onediff هو اختصار لعبارة "سطر واحد من التعليمات البرمجية لتسريع نماذج الاستخدام المختلف ".

يُستخدم مع أجهزة نشر التردد العالي وComfyUI

• onediff للناشرين HF؟
• oneiff لـ ComfyUI
• onediff لواجهة مستخدم الويب ذات الانتشار المستقر

مقارنة الأداء

وقت SDXL E2E

• نموذج الاستقرار / الانتشار المستقر xl-base-1.0 ؛
• حجم الصورة 1024*1024، حجم الدفعة 1، الخطوات 30؛
• نفيديا A100 80G SXM4؛

وقت SVD E2E

• نموذج الثبات/stable-video-diffusion-img2vid-xt;
• حجم الصورة 576*1024، حجم الدفعة 1، الخطوات 25، حجم قطعة فك التشفير 5؛
• نفيديا A100 80G SXM4؛

لاحظ أنه ليس لدينا طريقة لتشغيل SVD باستخدام TensorRT في 29 فبراير 2024.

تقييم الجودة

نحتفظ أيضًا بمستودع لقياس جودة التوليد بعد التسريع: odeval

المجتمع والدعم

• خلق قضية
• الدردشة في الخلاف:
• المجتمع وردود الفعل

تثبيت

0. التوافق مع نظام التشغيل ووحدة معالجة الرسومات

• لينكس
  • إذا كنت ترغب في استخدام oneiff على نظام التشغيل Windows، فيرجى استخدامه ضمن WSL.
  • دليل تثبيت oneiff في WSL2.
• وحدات معالجة الرسومات NVIDIA
  • التوافق مع وحدات معالجة الرسوميات Nvidia.

1. قم بتركيب الشعلة والناشرات

ملاحظة: يمكنك اختيار أحدث الإصدارات التي تريدها للناشرات أو المحولات.

 python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3"

2. قم بتثبيت الواجهة الخلفية للمترجم

عند التفكير في الاختيار بين OneFlow وNexfort، يكون أي منهما اختياريًا، ولا يلزم سوى واحد فقط.

• بالنسبة للنماذج الهيكلية DiT أو أجهزة H100، يوصى باستخدام Nexfort.

• بالنسبة لجميع الحالات الأخرى، يوصى باستخدام OneFlow. لاحظ أن التحسينات داخل OneFlow ستنتقل تدريجيًا إلى Nexfort في المستقبل.

نيكفورت

تثبيت Nexfort اختياري. المقدمة التفصيلية لـ Nexfort موجودة هنا.

python3 -m  pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1
python3 -m  pip install -U nexfort

تدفق واحد

يعد تثبيت OneFlow اختياريًا.

ملاحظة: لقد قمنا بتحديث OneFlow بشكل متكرر لـ oneiff، لذا يرجى تثبيت OneFlow من خلال الروابط أدناه.

• كودا 11.8

  لمستخدمي NA/الاتحاد الأوروبي

  python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118

  لمستخدمي CN

  python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118

انقر للحصول على حزم OneFlow لإصدارات CUDA الأخرى.

• كودا 12.1

  لمستخدمي NA/الاتحاد الأوروبي

  python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu121

  لمستخدمي CN

  python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu121

• كودا 12.2

  لمستخدمي NA/الاتحاد الأوروبي

  python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu122

  لمستخدمي CN

  python3 -m pip install -U --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu122

3. قم بتثبيت Oneiff

• من بي بي آي

 python3 -m pip install --pre onediff

• من المصدر

 git clone https://github.com/siliconflow/onediff.git

 cd onediff && python3 -m pip install -e .

أو التثبيت للتطوير:

 # install for dev
cd onediff && python3 -m pip install -e '.[dev]'

# code formatting and linting
pip3 install pre-commit
pre-commit install
pre-commit run --all-files

ملاحظة: إذا كنت تنوي استخدام المكونات الإضافية لـ ComfyUI/StableDiffusion-WebUI، فإننا نوصي بشدة بتثبيت OneDiff من المصدر بدلاً من PyPI. يعد ذلك ضروريًا لأنك ستحتاج إلى نسخ (أو إنشاء رابط إلكتروني) يدويًا للكود ذي الصلة في مجلد الامتداد الخاص بواجهات المستخدم/المكتبات هذه.

المزيد عن أونيدف

بنيان

سمات

الوظيفة	تفاصيل
وقت التجميع	حوالي دقيقة واحدة (SDXL)
طرق النشر	التوصيل والتشغيل
دعم حجم الصورة الديناميكي	دعم بدون أي تكاليف إضافية
دعم النموذج	SD1.5~2.1، SDXL، SDXL توربو، إلخ.
دعم الخوارزمية	سير العمل القياسي SD، LoRA، ControlNet، SVD، InstantID، SDXL Lightning، إلخ.
دعم إطار SD	ComfyUI، الناشرون، SD-webui
حفظ وتحميل النماذج المسرَّعة	نعم
وقت تبديل LoRA	مئات المللي ثانية
إشغال لورا	عشرات ميغابايت إلى مئات ميغابايت.
دعم الجهاز	NVIDIA GPU 3090 RTX/4090 RTX/A100/A800/A10 وما إلى ذلك (التوافق مع Ascend قيد التقدم)

تسريع لأحدث الموديلات

يدعم onediff التسريع لنماذج SOTA.

• مستقر: إصدار للاستخدام العام، ويحظى بدعم طويل الأمد؛
• النسخة التجريبية: إصدار للاستخدام الاحترافي، ويحظى بدعم طويل الأمد؛
• ألفا: إصدار مبكر ليستخدمه الخبراء، ويجب الحرص على استخدامه؛

نوع اي جي سي	نماذج	الناشرون HF		comfyUI		واجهة مستخدم ويب SD
		مجتمع	مَشرُوع	مجتمع	مَشرُوع	مجتمع	مَشرُوع
صورة	إس دي 1.5	مستقر	مستقر	مستقر	مستقر	مستقر	مستقر
	التنمية المستدامة 2.1	مستقر	مستقر	مستقر	مستقر	مستقر	مستقر
	SDXL	مستقر	مستقر	مستقر	مستقر	مستقر	مستقر
	لورا	مستقر		مستقر		مستقر
	كونترول نت	مستقر		مستقر
	اس دي اكس ال توربو	مستقر		مستقر
	إل سي إم	مستقر		مستقر
	SDXL DeepCache	ألفا	ألفا	ألفا	ألفا
	المعرف الفوري	بيتا		بيتا
فيديو	SVD (انتشار الفيديو المستقر)	مستقر	مستقر	مستقر	مستقر
	SVD DeepCache	ألفا	ألفا	ألفا	ألفا

تسريع بيئة الإنتاج

تجميع وحدة PyTorch

• التجميع باستخدام oneflow_compile

تجنب وقت التجميع لشكل الإدخال الجديد

• دعم المدخلات متعددة القرار

تجنب وقت التجميع للعرض عبر الإنترنت

قم بتجميع النتيجة المجمعة وحفظها دون الاتصال بالإنترنت، ثم قم بتحميلها عبر الإنترنت للعرض

• حفظ وتحميل الرسم البياني المترجم
• قم بالتجميع على جهاز واحد (مثل الجهاز 0)، ثم استخدم النتيجة المترجمة إلى جهاز آخر (مثل الجهاز 1 ~ 7). قم بتغيير جهاز الرسم البياني المترجم للقيام بخدمة متعددة العمليات

تشغيل موزع

إذا كنت تريد إجراء الاستدلال الموزع، فيمكنك استخدام مترجم onediff للقيام بتسريع جهاز واحد في محرك الاستدلال الموزع مثل xDiT

حل OneDiff للمؤسسات

إذا كنت بحاجة إلى دعم على مستوى المؤسسة لنظامك أو عملك، فيمكنك مراسلتنا عبر البريد الإلكتروني على [email protected]، أو الاتصال بنا عبر الموقع الإلكتروني: https://siliconflow.cn/pricing

	Oneiff حلول المؤسسات
تحسين أكثر تطرفًا للمترجم لعملية الانتشار	عادةً ما يكون هناك زيادة في الأداء بنسبة 20% إلى 30% أو أكثر
حلول تسريع سير العمل من البداية إلى النهاية	في بعض الأحيان مكاسب الأداء 200٪ ~ 300٪
حلول نشر سير العمل من البداية إلى النهاية	سير العمل إلى API النموذجي عبر الإنترنت
الدعم الفني للنشر	دعم ذو أولوية عالية

الاقتباس

 @misc { 2022onediff ,
  author = { OneDiff Contributors } ,
  title = { OneDiff: An out-of-the-box acceleration library for diffusion models } ,
  year = { 2022 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  howpublished = { url{https://github.com/siliconflow/onediff} }
}