ดาวน์โหลด ebsynth_utility - ebsynth

ebsynth_utility

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

Ebsynth_utility

ภาพรวม

Automatic1111 ส่วนขยาย UI สำหรับการสร้างวิดีโอโดยใช้ IMG2IMG และ Ebsynth

ส่วนขยายนี้ช่วยให้คุณสามารถส่งออกวิดีโอที่แก้ไขโดยใช้ Ebsynth (ไม่จำเป็นต้องใช้ AE)

ด้วยการติดตั้ง ControlNet ฉันได้ยืนยันว่าคุณสมบัติทั้งหมดของส่วนขยายนี้ทำงานได้อย่างถูกต้อง!

ControlNet เป็นสิ่งจำเป็นสำหรับการแก้ไขวิดีโอดังนั้นฉันขอแนะนำให้ติดตั้ง

Multi Controlnet ("Canny" + "Map") จะเหมาะสำหรับการแก้ไขวิดีโอ

ฉันแก้ไขภาพเคลื่อนไหว CLI เพื่อสร้างเครื่องมือ TXT2VIDEO ที่อนุญาตให้มีข้อมูลจำเพาะที่ยืดหยุ่นได้ คุณสามารถใช้ถ้าคุณต้องการ

ภาพเคลื่อนไหว

ตัวอย่าง 2.MP4

ตัวอย่าง

ตัวอย่างต่อไปนี้คือเอาต์พุตดิบของส่วนขยายนี้

ตัวอย่าง 1 หน้ากากด้วย clipseg

แรกจากซ้าย: ต้นฉบับ
ที่สองจากซ้าย: การปิดบัง "แมว" ไม่รวม "นิ้ว"
ที่สามจากซ้าย: ปิดบัง "Cat Head"
ขวา: แก้ไขสีด้วยตัวจับสี (ดูขั้นตอน 3.5)
สามารถระบุเป้าหมายได้หลายเป้าหมาย (เช่นแมว, สุนัข, เด็ก, เด็กผู้หญิง)

sample_clipseg_and_colormacher.mp4

ตัวอย่าง 2 พื้นหลังผสมผสาน

บุคคล: ผลงานชิ้นเอก, คุณภาพดีที่สุด, ผลงานชิ้นเอก, 1Girl, ผลงานชิ้นเอก, คุณภาพดีที่สุด, อะนิเมะ screencap, สไตล์อะนิเมะ
ความเป็นมา: Cyberpunk, โรงงาน, ห้อง, อะนิเมะ screencap, สไตล์อะนิเมะ
นอกจากนี้ยังเป็นไปได้ที่จะผสมผสานกับวิดีโอที่คุณชื่นชอบ

ตัวอย่าง 6.MP4

ตัวอย่าง 3 การติดแท็กอัตโนมัติ

ซ้าย: ต้นฉบับ
ศูนย์: ใช้พรอมต์เดียวกันในคีย์เฟรมทั้งหมด
ขวา: ใช้การติดแท็กอัตโนมัติโดย DeepDanBooru ใน KeyFrames ทั้งหมด
ฟังก์ชั่นนี้ปรับปรุงการเปลี่ยนแปลงโดยละเอียดในการแสดงออกทางสีหน้าการแสดงออกของมือ ฯลฯ
ในวิดีโอตัวอย่างแท็ก "closed_eyes" และ "hands_on_own_face" ได้รับการเพิ่มเพื่อแสดงถึงการกระพริบตาและมือที่นำหน้าใบหน้า

sample_autotag.mp4

ตัวอย่าง 4 การติดแท็กอัตโนมัติ (ใช้ LORA แบบไดนามิก)

ซ้าย: ใช้การติดแท็กอัตโนมัติโดย DeepDanBooru ใน KeyFrames ทั้งหมด
ขวา: ใช้การติดแท็กอัตโนมัติโดย DeepDanBooru ใน KeyFrames ทั้งหมด + ใช้ "Anyahehface" Lora แบบไดนามิก
เพิ่มฟังก์ชั่นเพื่อใช้ Ti, Hypernet, Lora และพรอมต์เพิ่มเติมตามแท็กที่แนบมาโดยอัตโนมัติ
ในวิดีโอตัวอย่างหากมีแท็ก "Smile" ได้รับการตั้งค่าคำหลักทริกเกอร์ LORA และ LORA จะถูกเพิ่มขึ้นตามความแข็งแกร่งของแท็ก "Smile"
นอกจากนี้เนื่องจากแท็กที่เพิ่มโดยอัตโนมัติบางครั้งไม่ถูกต้องแท็กที่ไม่จำเป็นจะถูกระบุไว้ในบัญชีดำ
นี่คือไฟล์การกำหนดค่าจริงที่ใช้ วางไว้ใน "Project Directory" สำหรับใช้งาน

sample.anyaheh.mp4

การติดตั้ง

ติดตั้ง ffmpeg สำหรับระบบปฏิบัติการของคุณ (https://www.geeksforgeeks.org/how-to-install-ffmpeg-on-windows/)
ติดตั้ง Ebsynth
ใช้แท็บส่วนขยายของ WebUI เพื่อ [ติดตั้งจาก URL]

การใช้งาน

ไปที่แท็บ [Ebsynth Utility]
สร้างไดเรกทอรีที่ว่างเปล่าที่ไหนสักแห่งและกรอกข้อมูลในฟิลด์ "Project Directory"
วางวิดีโอที่คุณต้องการแก้ไขจากที่ใดที่หนึ่งและเติมในฟิลด์ "เส้นทางภาพยนตร์ต้นฉบับ" ใช้วิดีโอสั้น ๆ ไม่กี่วินาทีในตอนแรก
เลือกขั้นตอนที่ 1 และสร้าง
ดำเนินการตามลำดับตั้งแต่ขั้นตอนที่ 1 ถึง 7 ความคืบหน้าในระหว่างกระบวนการจะไม่ปรากฏใน WebUI ดังนั้นโปรดตรวจสอบหน้าจอคอนโซล หากคุณเห็น "เสร็จสมบูรณ์" ใน Webui เสร็จสมบูรณ์
(ใน WebUI ล่าสุดปัจจุบันดูเหมือนว่าจะทำให้เกิดข้อผิดพลาดหากคุณไม่วางภาพบนหน้าจอหลักของ IMG2IMG
โปรดวางภาพเนื่องจากไม่ส่งผลกระทบต่อผลลัพธ์)

หมายเหตุ 1

สำหรับการอ้างอิงนี่คือสิ่งที่ฉันทำเมื่อฉันแก้ไขวิดีโอ 1280x720 30fps 15Sec ตาม

ขั้นตอนที่ 1

ไม่มีอะไรจะกำหนดค่า
เฟรมทั้งหมดของภาพวิดีโอและหน้ากากสำหรับเฟรมทั้งหมดจะถูกสร้างขึ้น

ขั้นตอนที่ 2

ในการใช้งานส่วนขยายนี้ช่วงเวลาของเฟรมจะถูกเลือกให้สั้นลงเมื่อมีการเคลื่อนไหวจำนวนมากและนานขึ้นที่มีการเคลื่อนไหวเพียงเล็กน้อย
หากแอนิเมชั่นแตกหักให้เพิ่ม keyframe ถ้ามันสั่นไหวให้ลด keyframe
ก่อนอื่นสร้างครั้งเดียวด้วยการตั้งค่าเริ่มต้นและตรงไปข้างหน้าโดยไม่ต้องกังวลเกี่ยวกับผลลัพธ์

ขั้นตอนที่ 3

เลือกหนึ่งใน keyframes โยนไปที่ IMG2IMG และเรียกใช้ [สอบถาม DeepBooru]
ลบคำที่ไม่ต้องการเช่นเบลอออกจากพรอมต์ที่แสดง
กรอกส่วนที่เหลือของการตั้งค่าตามปกติคุณจะทำเพื่อสร้างภาพ

นี่คือการตั้งค่าที่ฉันใช้

วิธีการสุ่มตัวอย่าง: ออยเลอร์ก
ขั้นตอนการสุ่มตัวอย่าง: 50
ความกว้าง: 960
ความสูง: 512
มาตราส่วน CFG: 20
ความแข็งแกร่งของ denoising: 0.2

นี่คือการตั้งค่าสำหรับการขยาย

โหมดหน้ากาก (แทนที่โหมดหน้ากาก img2img): ปกติ
IMG2IMG นับซ้ำ (วนกลับ): 5
เพิ่ม n ถึงเมล็ดเมื่อทำซ้ำ: 1
ใช้ Face Crop IMG2IMG: จริง
วิธีการตรวจจับใบหน้า: YUNET
ขนาดพืชผลสูงสุด: 1024
เผชิญหน้ากับความแข็งแกร่งของ denoising: 0.25
กำลังขยายพื้นที่ใบหน้า: 1.5 (ยิ่งมีจำนวนมากเท่าไหร่ก็ยิ่งใกล้กับสไตล์การวาดของโมเดล แต่ยิ่งมีโอกาสมากขึ้นที่จะเปลี่ยนเมื่อผสานเข้ากับร่างกาย)
เปิดใช้งาน FACE PROMPT: FALSE

การลองผิดลองถูกและข้อผิดพลาดในกระบวนการนี้เป็นส่วนที่ใช้เวลานานที่สุด
ตรวจสอบโฟลเดอร์ปลายทางและหากคุณไม่ชอบผลลัพธ์ให้ขัดจังหวะและเปลี่ยนการตั้งค่า
[พรอมต์] [ความแข็งแรงของ denoising] และ [ความแข็งแรงของใบหน้า denoising] เมื่อใช้การเพาะปลูก img2img จะส่งผลกระทบอย่างมาก
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ FACE CROP IMG2IMG ตรวจสอบที่นี่

หากคุณมีหน่วยความจำจำนวนมากที่จะสำรองการเพิ่มค่าความกว้างและความสูงในขณะที่รักษาอัตราส่วนภาพอาจปรับปรุงผลลัพธ์ได้อย่างมาก

ส่วนขยายนี้อาจช่วยในการปรับเปลี่ยน
https://github.com/s9roll7/img2img_for_all_method

ข้อมูลข้างต้นเป็นช่วงเวลาที่ไม่มีการควบคุม
เมื่อใช้ Controlnet ร่วมกัน (โดยเฉพาะอย่างยิ่ง multi-controlnets) แม้กระทั่งการตั้งค่า "denoising strength" เป็นค่าที่สูงทำงานได้ดีและแม้กระทั่งการตั้งค่าเป็น 1.0 ให้ผลลัพธ์ที่มีความหมาย
หาก "ความแข็งแกร่ง denoising" ถูกตั้งค่าเป็นค่าสูง "Loop Back" สามารถตั้งค่าเป็น 1