ScribbleArchitect

การวาดเส้น การแบ่งส่วน การถ่ายโอนสไตล์ และยกระดับด้วย Stable Diffusion!

GUI นี้ช่วยให้สามารถสร้างภาพจากฝีแปรงธรรมดาหรือเส้นโค้ง Bezier ได้แบบเรียลไทม์ ฟังก์ชันต่างๆ ได้รับการออกแบบมาเพื่อใช้ในสถาปัตยกรรมเป็นหลัก และสำหรับการร่างภาพในระยะแรกของโครงการ ใช้ Stable Diffusion และ ControlNet เป็นแกนหลักของ AI สำหรับกระบวนการกำเนิด รวมการสนับสนุนอะแดปเตอร์ IP เช่นเดียวกับไลบรารีขนาดใหญ่ของสไตล์ที่กำหนดไว้ล่วงหน้า! รูปภาพอ้างอิงแต่ละภาพช่วยให้สามารถถ่ายโอนสไตล์เฉพาะไปยังงานสายงานของคุณได้ นอกจากนี้ยังมีการเพิ่มฟังก์ชันระดับสูงเพื่อส่งออกผลลัพธ์ที่มีความละเอียดสูง (ขึ้นอยู่กับไทล์ ControlNet)

ตัวอย่างการแสดงการวาดภาพสด

ตัวอย่างแสดงการเปลี่ยนแปลงสไตล์ (ภายใน)

ตัวอย่างแสดงการเปลี่ยนแปลงสไตล์ (ภายนอก)

ข่าว!

มีการเพิ่มฟังก์ชั่นใหม่มากมายเมื่อเร็ว ๆ นี้:

• รองรับ Hyper-SD (เป็นทางเลือกแทน LCM)
• สร้างการเขียนลวก ๆ แบบสุ่ม
• วาดโซนการแบ่งส่วนสำหรับวัตถุเฉพาะ (ท้องฟ้า อาคาร หน้าต่าง ...)
• รองรับการวาดภาพบนแท็บเล็ต (หน้าจอสัมผัส, Ipad, ... )
• การนำเข้าสไตล์ที่กำหนดเอง
• การนำเข้าโมเดลแบบกำหนดเอง (เช่นจาก Civitai)
• นำเข้ารูปภาพเพื่อวัตถุประสงค์ที่แตกต่างกัน
  • เป็นตัวรองรับการวาดภาพ
  • เป็นการเขียนลวก ๆ
  • เป็นโซนการแบ่งส่วน
• -

เมื่อเร็วๆ นี้เราได้รวมระบบเลเยอร์ใหม่ไว้ด้วยกัน เมื่อผู้ใช้สามารถวาดเส้นสีดำ (สำหรับป้อน ControlNet Scribble) หรือลายเส้นแปรงสี (สำหรับ ControlNet Segmentation) ดู 'การใช้แอป' หมายเหตุ: คุณยังคงพบเวอร์ชันเก่าได้ในส่วน "การเผยแพร่"

การใช้แอพ

เลือก 'ประเภท' การออกแบบสถาปัตยกรรม (การเรนเดอร์ภายนอก ความสูงของส่วนหน้าอาคาร การเรนเดอร์ภายใน ... ) และสไตล์ ทางด้านซ้าย คุณจะพบพื้นที่วาดภาพ คุณสามารถเพิ่มเส้นสีดำเพื่อกำหนดเส้นสำคัญของภาพวาดของคุณ หรือเพิ่มโซนสี (แผนที่ความหมาย) เพื่อกำหนดตำแหน่งที่ควรวางวัตถุเฉพาะ (ต้นไม้ หน้าต่าง ฯลฯ) รหัสสีเฉพาะจะเชื่อมโยงกับวัตถุแต่ละประเภท คุณไม่ต้องกังวลกับการเลือกสีที่ถูกต้อง เนื่องจากอินเทอร์เฟซแบบกราฟิกช่วยให้คุณเลือกวัตถุที่จะวาดได้โดยตรง กระบวนการวาดนั้นเป็นมาตรฐานอย่างสมบูรณ์ เลือกเครื่องมือของคุณและวาด! (หรือลบ) คุณจะเห็นภาพที่เสนอปรับเปลี่ยนแบบสด (ช่องทำเครื่องหมายช่วยให้คุณสามารถปิดใช้งานการอนุมานแบบสดได้)

ตัวอย่างแสดงการใช้แปรงแบ่งส่วน (ภายใน)

หากคุณขาดแรงบันดาลใจหรือเพื่อการทดสอบ ตัวอย่างการวาดเส้นจะถูกสร้างขึ้นโดยอัตโนมัติ

นอกจากนี้ยังสามารถนำเข้ารูปภาพเพื่อสร้างลายเส้นและ/หรือการแบ่งส่วนโดยอัตโนมัติ

เรายังเพิ่มฟังก์ชั่นจับภาพหน้าจออีกด้วย มันสร้างกล่องจับภาพ (เส้นขอบสีน้ำเงิน) ที่สามารถลากไปมาได้ และจะสร้างการเขียนลวก ๆ ตามโซนที่จับภาพ เมื่อพอใจกับการจับแล้ว ให้คลิกอีกครั้งที่เครื่องมือเพื่อยกเลิกการใช้งาน อนุญาตให้ทำงานกับเครื่องมืออันทรงพลังเป็นอินพุต (Adobe Illustrator, Inkscape, ... )

ฟังก์ชั่นจับภาพหน้าจอโดยใช้ Inkscape เป็นอินพุต

การขยายขนาด

การเรนเดอร์สามารถส่งออกได้ด้วยความละเอียดสูง ต้องขอบคุณตัวขยายสเกลเลอร์ ControlNet ตัวเลือกเพิ่มเติมจะถูกรวมเข้าด้วยกันเร็ว ๆ นี้!

การลดขนาด (การเรนเดอร์ภายนอกอย่างมีศิลปะ)

การลดขนาด (การเรนเดอร์ภายในที่สมจริง)

การสนับสนุนแท็บเล็ต

เมื่อเร็ว ๆ นี้มีการรองรับสื่อวาดรูปด้วย ควรตรวจจับแรงกดของปากกา ทดสอบบน Ipad Pro + EasyCanvas

วีดีโอ2.mp4

ตัวเลือก

การวาดภาพสดต้องใช้ GPU ที่แข็งแกร่ง ฉันขอแนะนำให้ลดขนาดภาพ (ใน main.py) หากล่าช้าเกินไป! การอัปสเกลของภาพต้องใช้ GPU มากจริงๆ...

รวมแบบจำลองการอนุมาน

ตามค่าเริ่มต้น แอปจะใช้ Dreamshaper (https://huggingface.co/Lykon/dreamshaper-8) คุณสามารถเพิ่มโมเดลแบบกำหนดเองลงในโฟลเดอร์เฉพาะได้ ('custom_models') จุดตรวจ SD1.5 ใดๆ ควรใช้งานได้

การติดตั้ง

• ติดตั้ง CUDA (หากยังไม่ได้ดำเนินการ)
• โคลน repo และติดตั้ง venv
• ติดตั้งคบเพลิง. ตัวอย่างสำหรับ CUDA 11.8:

 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

(ดูhttps://pytorch.org/get-started/locally/)

• ติดตั้ง Real-ESRGAN:

 pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git

• ติดตั้งการอ้างอิงอื่น ๆ (ดูข้อกำหนด):
  • เร่งความเร็ว
  • เครื่องกระจายกลิ่น
  • หม้อแปลงไฟฟ้า
  • PyQT6
  • opencv-หลาม
  • opencv-contrib-หลาม
  • เพฟท์
• เปิดตัว main.py (การเปิดตัวครั้งแรกอาจใช้เวลานานเนื่องจากกระบวนการติดตั้งโมเดล!)

ข้อมูลอ้างอิงที่เป็นประโยชน์

https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble