opendream
1.0.0
opendream นำคุณสมบัติที่จำเป็นและคุ้นเคยมากมาย เช่น การแบ่งชั้น การแก้ไขแบบไม่ทำลาย การพกพา และส่วนขยายที่เขียนง่าย มาสู่เวิร์กโฟลว์ Stable Diffusion ของคุณ ลองชมวิดีโอสาธิตของเรา
sh ./run_ opendream .sh หลังจากผ่านไปประมาณ 30 วินาที ทั้งส่วนหน้าและส่วนหลังของระบบ opendream ควรเปิดใช้งานได้ โมเดลการแพร่กระจายกลายเป็นเครื่องมืออันทรงพลังในโลกแห่งการสร้างและจัดการภาพ แม้ว่าโมเดลเหล่านี้จะให้ประโยชน์มากมาย แต่โมเดลเหล่านี้มักถูกมองว่าเป็นกล่องดำเนื่องจากมีความซับซ้อนโดยธรรมชาติ ระบบนิเวศการสร้างภาพแบบแพร่กระจายในปัจจุบันถูกกำหนดโดยเครื่องมือที่ช่วยให้งานจัดการภาพแบบครั้งเดียวเพื่อควบคุมโมเดลเหล่านี้ เช่น text2img, in-painting, pix2pix และอื่นๆ อีกมากมาย
ตัวอย่างเช่น อินเทอร์เฟซยอดนิยมอย่าง Automatic1111, Midjourney และ Stability DreamStudio ของ AI รองรับเฉพาะการแก้ไขแบบทำลายล้างเท่านั้น โดยการแก้ไขแต่ละครั้งจะ "กิน" รูปภาพก่อนหน้า ซึ่งหมายความว่าผู้ใช้ไม่สามารถต่อยอดจากรูปภาพก่อนหน้าหรือทำการทดลองหลายรายการกับรูปภาพเดียวกันได้อย่างง่ายดาย ซึ่งเป็นการจำกัดตัวเลือกในการสำรวจความคิดสร้างสรรค์
การแก้ไขแบบไม่ทำลายเป็นวิธีการจัดการภาพที่รักษาข้อมูลรูปภาพต้นฉบับในขณะที่อนุญาตให้ผู้ใช้ทำการปรับแต่งและแก้ไขโดยไม่ต้องเขียนทับงานก่อนหน้า แนวทางนี้อำนวยความสะดวกในการทดลองและให้การควบคุมกระบวนการแก้ไขมากขึ้นโดยใช้เลเยอร์และมาสก์ เมื่อคุณลบเลเยอร์ เลเยอร์ทั้งหมดหลังจากนั้นจะถูกลบไปด้วย สิ่งนี้รับประกันว่าเลเยอร์ทั้งหมดในปัจจุบันบนผืนผ้าใบเป็นผลงานของเลเยอร์อื่นๆ ที่มีอยู่ นอกจากนี้ยังช่วยให้สามารถ "เล่นซ้ำ" เวิร์กโฟลว์ได้ตามกำหนด
เช่นเดียวกับ Photoshop opendream รองรับการแก้ไขแบบไม่ทำลายตั้งแต่แกะกล่อง เรียนรู้เพิ่มเติมเกี่ยวกับหลักการของการแก้ไขแบบไม่ทำลายใน Photoshop ที่นี่
ผู้ใช้ยังสามารถบันทึกเวิร์กโฟลว์ปัจจุบันเป็นรูปแบบไฟล์พกพาที่สามารถเปิดได้ในภายหลังหรือแชร์กับผู้ร่วมงาน ในบริบทนี้ "สถานะ" เป็นเพียงไฟล์ JSON ที่อธิบายเลเยอร์ปัจจุบันทั้งหมดและวิธีการสร้างเลเยอร์เหล่านั้น
เนื่องจากระบบนิเวศโอเพ่นซอร์สเจริญรุ่งเรืองด้วยโมเดลและเครื่องมือเหล่านี้ ความสามารถในการขยายจึงกลายเป็นข้อกังวลหลักเช่นกัน แม้ว่า Automatic1111 จะมีส่วนขยายให้ แต่ก็มักจะยากต่อการเขียนโปรแกรม ใช้งาน และติดตั้ง มันยังห่างไกลจากการมีคุณสมบัติครบถ้วนเหมือนกับแอปพลิเคชันอย่าง Adobe Photoshop
เมื่อมีการเปิดตัวฟีเจอร์ใหม่สำหรับ Stable Diffusion เช่น ControlNet ผู้ใช้ควรจะสามารถรวมคุณสมบัติเหล่านี้เข้ากับเวิร์กโฟลว์ทางศิลปะของตนได้อย่างราบรื่นโดยมีการโอเวอร์โหลดและเวลาน้อยที่สุด
opendream ทำให้การเขียนและการใช้คุณสมบัติการแพร่กระจายใหม่ทำได้ง่ายเหมือนกับการเขียนฟังก์ชัน Python อ่านต่อเพื่อเรียนรู้วิธีการ
ตั้งแต่เริ่มต้น opendream รองรับการดำเนินการดั้งเดิมที่สำคัญสองประการที่อบเข้าสู่ระบบหลัก: dream และ mask_and_inpaint ในที่เก็บนี้มีส่วนขยายสำหรับ instruct_pix2pix , controlnet_canny , controlnet_openpose และ sam (Segment Anything) ไว้ด้วย
ตรรกะการจัดการรูปภาพใดๆ สามารถเขียนเป็นส่วนขยายได้อย่างง่ายดาย ด้วยส่วนขยาย คุณสามารถตัดสินใจได้ว่าการดำเนินการบางอย่างทำงานอย่างไร ตัวอย่างเช่น คุณสามารถแทนที่การดำเนินการ dream เพื่อใช้ DALL-E ของ OpenAI แทน หรือเรียกใช้ตำแหน่งข้อมูลแบบไร้เซิร์ฟเวอร์บนบริการ เช่น AWS หรือ Replicate นี่คือตัวอย่างการใช้ Baseten
มีสองวิธีในการโหลดส่วนขยาย
opendream /extensions คำแนะนำในการเขียนส่วนขยายของคุณเองอยู่ด้านล่างนี่คือตัวอย่างส่วนขยายที่รองรับในปัจจุบัน คุณสามารถใช้ลิงก์เพื่อติดตั้งส่วนขยายที่กำหนดผ่านทาง Web UI
| ส่วนขยาย | ลิงค์ |
|---|---|
| DALL-E ของ OpenAI | ไฟล์ |
| การแพร่กระจายที่เสถียรแบบไร้เซิร์ฟเวอร์ | ไฟล์ |
| สั่ง Pix2Pix | ไฟล์ |
| ControlNet แคนนี่ | ไฟล์ |
| ControlNet เปิดท่า | ไฟล์ |
| แบ่งส่วนอะไรก็ได้ | ไฟล์ |
| PhotoshopGPT | ส่วนสำคัญ |
โปรดทราบว่าส่วนขยายอาจมีข้อกำหนดของตัวเอง ซึ่งคุณจะต้องรวมไว้ในไฟล์ requirements.txt ตัวอย่างเช่น คุณจะต้องเพิ่ม openai หากคุณต้องการใช้ส่วนขยาย DALL-E
อย่าลังเลที่จะประชาสัมพันธ์หากคุณสร้างส่วนขยายที่มีประโยชน์!
ผู้ใช้สามารถเขียนส่วนขยายของตนเองได้ดังนี้:
opendream /extensions@ opendream .define_op มัณฑนากรนี้ลงทะเบียนวิธีนี้กับแบ็กเอนด์ opendreamวิธีการนี้มีข้อกำหนดบางประการ:
str , int , float , Layer , MaskLayer หรือ ImageLayerLayer หรือรายการของวัตถุ Layer opendream สร้างโดย Varun Shenoy, Eric Lou, Shashank Rammoorthy และ Rahul Shiv โดยเป็นส่วนหนึ่งของ CS 348K ของ Stanford
รู้สึกอิสระที่จะให้การสนับสนุนใด ๆ ที่คุณเห็นว่าจำเป็นหรือมีประโยชน์ โครงการนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT
