opendream
1.0.0
يوفر opendream ميزات مألوفة ومطلوبة بشدة، مثل الطبقات، والتحرير غير المدمر، وقابلية النقل، والامتدادات سهلة الكتابة، إلى سير عمل Stable Diffusion. تحقق من الفيديو التجريبي لدينا.
sh ./run_ opendream .sh . بعد 30 ثانية تقريبًا، يجب أن تكون الواجهة الأمامية والخلفية لنظام opendream قيد التشغيل. ظهرت نماذج الانتشار كأدوات قوية في عالم توليد الصور ومعالجتها. على الرغم من أنها تقدم فوائد كبيرة، إلا أن هذه النماذج غالبًا ما تعتبر صناديق سوداء نظرًا لتعقيدها المتأصل. يتم تعريف النظام البيئي الحالي لتوليد صور الانتشار من خلال الأدوات التي تسمح لمهام معالجة الصور لمرة واحدة بالتحكم في هذه النماذج - text2img، وin-painting، وpix2pix، وغيرها.
على سبيل المثال، الواجهات الشائعة مثل Automatic1111 وMidjourney وStability. تدعم DreamStudio الخاصة بشركة AI التحرير المدمر فقط: فكل تعديل "يستهلك" الصورة السابقة. وهذا يعني أنه لا يمكن للمستخدمين البناء بسهولة على الصور السابقة أو إجراء تجارب متعددة على نفس الصورة، مما يحد من خياراتهم للاستكشاف الإبداعي.
التحرير غير المدمر هو أسلوب لمعالجة الصور يحافظ على بيانات الصورة الأصلية مع السماح للمستخدمين بإجراء التعديلات والتعديلات دون الكتابة فوق العمل السابق. يسهل هذا الأسلوب التجريب ويوفر المزيد من التحكم في عملية التحرير باستخدام الطبقات والأقنعة. عندما تقوم بحذف طبقة، يتم حذف جميع الطبقات بعدها أيضًا. وهذا يضمن أن جميع الطبقات الموجودة حاليًا على اللوحة القماشية هي نتاج طبقات أخرى موجودة. يسمح هذا أيضًا للشخص بـ "إعادة تشغيل" سير العمل بشكل حتمي.
مثل Photoshop، يدعم opendream التحرير غير المدمر خارج الصندوق. تعرف على المزيد حول مبادئ التحرير غير المدمر في Photoshop هنا.
يمكن للمستخدمين أيضًا حفظ سير العمل الحالي الخاص بهم في تنسيق ملف محمول يمكن فتحه في وقت لاحق أو مشاركته مع المتعاونين. في هذا السياق، "الحالة" هي مجرد ملف JSON يصف جميع الطبقات الحالية وكيفية إنشائها.
ومع ازدهار النظام البيئي مفتوح المصدر حول هذه النماذج والأدوات، أصبحت قابلية التوسع أيضًا مصدر قلق كبير. على الرغم من أن Automatic1111 يقدم ملحقات، إلا أنه غالبًا ما يكون من الصعب برمجتها واستخدامها وتثبيتها. إنه بعيد عن أن يكون كامل المواصفات مثل تطبيق مثل Adobe Photoshop.
مع إطلاق ميزات جديدة لـ Stable Diffusion، مثل ControlNet، يجب أن يكون المستخدمون قادرين على دمجها بسلاسة في سير العمل الفني الخاص بهم بأقل قدر من التحميل الزائد والوقت.
يجعل opendream الكتابة واستخدام ميزات النشر الجديدة أمرًا بسيطًا مثل كتابة وظيفة Python. استمر في القراءة لتتعلم كيف.
منذ البداية، يدعم opendream عمليتين بدائيتين رئيسيتين مدمجتين في النظام الأساسي: dream و mask_and_inpaint . في هذا المستودع، يتم توفير ملحقات لـ instruct_pix2pix و controlnet_canny و controlnet_openpose و sam (Segment Anything).
يمكن بسهولة كتابة أي منطق لمعالجة الصور كملحق. باستخدام الملحقات، يمكنك أيضًا تحديد كيفية عمل عمليات معينة. على سبيل المثال، يمكنك تجاوز عملية dream لاستخدام DALL-E الخاص بـ OpenAI بدلاً من ذلك أو الاتصال بنقطة نهاية بدون خادم على خدمة مثل AWS أو Replicate. إليك مثال باستخدام Baseten.
هناك طريقتان لتحميل الملحقات.
opendream /extensions . تعليمات كتابة الامتداد الخاص بك موجودة أدناه.فيما يلي عينة من الإضافات المدعومة حاليًا. يمكنك استخدام الروابط لتثبيت أي ملحق معين من خلال واجهة مستخدم الويب.
| امتداد | وصلة |
|---|---|
| OpenAI's DALL-E | ملف |
| نشر مستقر بدون خادم | ملف |
| إرشاد Pix2Pix | ملف |
| كونترول نت كاني | ملف |
| ControlNet مفتوح | ملف |
| شريحة أي شيء | ملف |
| فوتوشوب جي بي تي | جوهر |
لاحظ أن الملحقات قد يكون لها متطلباتها الخاصة التي قد تحتاج إلى تضمينها في ملف requirements.txt . على سبيل المثال، ستحتاج إلى إضافة openai إذا كنت تريد استخدام امتداد DALL-E.
لا تتردد في إجراء علاقات عامة إذا قمت بإنشاء امتداد مفيد!
يمكن للمستخدمين كتابة ملحقاتهم الخاصة على النحو التالي:
opendream /extensions .@ opendream .define_op . يقوم مصمم الديكور هذا بتسجيل هذه الطريقة مع الواجهة الخلفية opendream .الطريقة لها بعض المتطلبات:
str أو int أو float أو Layer أو MaskLayer أو ImageLayer .Layer أو قائمة كائنات Layer . تم بناء opendream بواسطة فارون شينوي وإريك لو وشاشانك رامورثي وراهول شيف كجزء من CS 348K في جامعة ستانفورد.
لا تتردد في تقديم أي مساهمات تراها ضرورية أو مفيدة. هذا المشروع مرخص بموجب ترخيص MIT.
