เมื่อเร็ว ๆ นี้ทีมวิจัยได้เปิดตัวกรอบการโยกย้ายการแสดงออกที่เรียกว่า HelloMeme ซึ่งสามารถโยกย้ายการแสดงออกของบุคคลหนึ่งไปยังภาพของบุคคลอื่นด้วยความจงรักภักดีสูงเป็นพิเศษ ด้วยโครงสร้างเครือข่ายที่เป็นเอกลักษณ์และโมดูลแอนิเมชั่นที่เป็นนวัตกรรม Hellomeme ได้รับความสมดุลที่สมบูรณ์แบบของความราบรื่นและคุณภาพของภาพสูงสำหรับการสร้างวิดีโอและรองรับ ARKIT Face Blendshapes ทำให้ผู้ใช้ควบคุมการแสดงออกของตัวละครได้ดี นอกจากนี้การออกแบบอะแดปเตอร์แบบสลับร้อนช่วยให้มั่นใจได้ถึงความเข้ากันได้กับโมเดล SD1.5 ขยายความเป็นไปได้ของการสร้างและปรับปรุงประสิทธิภาพของการสร้างวิดีโออย่างมีนัยสำคัญ บทความนี้จะแนะนำรายละเอียดเกี่ยวกับฟังก์ชั่นหลักคุณสมบัติทางเทคนิคและการเปรียบเทียบกับวิธีการอื่น ๆ ของกรอบ Hellomeme
เมื่อเร็ว ๆ นี้ทีมวิจัยได้เปิดตัวกรอบการทำงานที่เรียกว่า Hellomeme ซึ่งสามารถโยกย้ายการแสดงออกของบุคคลหนึ่งในภาพไปยังภาพของตัวละครในภาพอื่น
ดังที่แสดงในรูปต่อไปนี้ให้ภาพนิพจน์ (บรรทัดแรก) จากนั้นคุณสามารถถ่ายโอนรายละเอียดการแสดงออกไปยังอักขระในรูปภาพอื่น ๆ
แกนกลางของ Hellomeme คือโครงสร้างเครือข่ายที่ไม่เหมือนใคร เฟรมสามารถแยกคุณสมบัติของแต่ละเฟรมได้จากวิดีโอการขับขี่และป้อนคุณสมบัติเหล่านี้ลงใน HMControlmodule ผ่านการประมวลผลดังกล่าวนักวิจัยสามารถสร้างภาพวิดีโอที่ราบรื่น อย่างไรก็ตามในวิดีโอที่สร้างขึ้นครั้งแรกมีปัญหาของการกะพริบระหว่างเฟรมส่งผลกระทบต่อประสบการณ์การรับชมโดยรวม เพื่อแก้ไขปัญหานี้ทีมได้แนะนำโมดูลแอนิเมชั่นซึ่งเป็นนวัตกรรมที่ปรับปรุงความต่อเนื่องของวิดีโออย่างมีนัยสำคัญ แต่ยังช่วยลดความน่าเชื่อถือของภาพในระดับหนึ่ง
ในการตอบสนองต่อความขัดแย้งนี้นักวิจัยได้ปรับและปรับโมดูลแอนิเมชั่นให้ดีขึ้นในที่สุดก็บรรลุคุณภาพของภาพสูงในขณะที่ปรับปรุงความต่อเนื่องของวิดีโอ
นอกจากนี้เฟรมเวิร์ก Hellomeme ยังให้การสนับสนุนที่มีประสิทธิภาพสำหรับการแก้ไขการแสดงออกทางสีหน้า ด้วยการเชื่อมโยง ARKIT Face Blendshapes ผู้ใช้สามารถควบคุมการแสดงออกทางสีหน้าของอักขระในวิดีโอที่สร้างขึ้นได้อย่างง่ายดาย ความยืดหยุ่นนี้ช่วยให้ผู้สร้างสามารถสร้างวิดีโอที่มีอารมณ์และนิพจน์เฉพาะตามความจำเป็นทำให้การแสดงออกของเนื้อหาวิดีโอเป็นอย่างมาก
ในแง่ของความเข้ากันได้ทางเทคนิค Hellomeme ใช้การออกแบบอะแดปเตอร์แบบสลับร้อนตาม SD1.5 ข้อได้เปรียบที่ใหญ่ที่สุดของการออกแบบนี้คือมันไม่ส่งผลกระทบต่อความสามารถในการวางนัยทั่วไปของโมเดล T2I (text-to-Image) ซึ่งช่วยให้โมเดลที่มีสไตล์ได้รับการพัฒนาบน SD1.5 เพื่อรวมเข้ากับ Hellomeme อย่างราบรื่น สิ่งนี้ให้ความเป็นไปได้มากขึ้นสำหรับการสร้างสรรค์ที่หลากหลาย
ทีมวิจัยพบว่าการแนะนำ HMReferenceModule ปรับปรุงเงื่อนไขความซื่อสัตย์อย่างมีนัยสำคัญเมื่อสร้างวิดีโอซึ่งหมายความว่าขั้นตอนการสุ่มตัวอย่างจะลดลงในขณะที่สร้างวิดีโอคุณภาพสูง การค้นพบนี้ไม่เพียง แต่ปรับปรุงประสิทธิภาพการสร้างเท่านั้น แต่ยังเปิดประตูใหม่สำหรับการสร้างวิดีโอแบบเรียลไทม์
ผลของการเปรียบเทียบกับวิธีการอื่น ๆ มีดังนี้
ทางเข้าโครงการ: https://songkey.github.io/hellomeme/
https://github.com/hellovision/comfyui_hellomeme
ประเด็นสำคัญ:
Hellomeme บรรลุการปรับปรุงความคล่องแคล่วในการสร้างวิดีโอและคุณภาพของภาพผ่านโครงสร้างเครือข่ายที่ไม่ซ้ำกันและโมดูลแอนิเมชั่น
เฟรมเวิร์กรองรับ ARKIT Face Blendshapes ช่วยให้ผู้ใช้สามารถควบคุมการแสดงออกทางสีหน้าของอักขระได้อย่างยืดหยุ่นและเพิ่มประสิทธิภาพของเนื้อหาวิดีโอ
การออกแบบอะแดปเตอร์แบบสลับร้อนช่วยให้มั่นใจได้ถึงความเข้ากันได้กับรุ่นอื่น ๆ ตาม SD1.5 ซึ่งให้ความยืดหยุ่นมากขึ้นสำหรับการสร้าง
ด้วยความสามารถในการโยกย้ายการแสดงออกที่มีประสิทธิภาพเอฟเฟกต์การสร้างวิดีโอที่ราบรื่นและความเข้ากันได้ที่ทรงพลังกรอบ HelloMeme ให้ความเป็นไปได้ใหม่สำหรับการสร้างวิดีโอและคาดว่าจะมีบทบาทสำคัญในการผลิตภาพยนตร์และโทรทัศน์เอฟเฟกต์แอนิเมชั่นและสาขาอื่น ๆ คุณสมบัติโอเพ่นซอร์สยังช่วยให้นักพัฒนาซอฟต์แวร์มีส่วนร่วมและส่งเสริมการพัฒนาและการปรับปรุงเทคโนโลยีต่อไป