บรรณาธิการของ Downcodes ได้เรียนรู้ว่าทีมวิจัยได้พัฒนาไปป์ไลน์ฟิวชั่นส่วนหัวที่เรียกว่า CHANGER โดยมีเป้าหมายเพื่อมอบโซลูชันการสังเคราะห์ส่วนหัวที่มีความเที่ยงตรงสูงสำหรับการสร้างเนื้อหาดิจิทัล เทคโนโลยีนี้มีคุณค่าในการใช้งานที่สำคัญในด้านวิชวลเอฟเฟกต์พิเศษ (VFX) การสร้างมนุษย์ดิจิทัล และอวตารเสมือน โดยเฉพาะอย่างยิ่ง เทคโนโลยีนี้ได้ก่อให้เกิดความก้าวหน้าครั้งสำคัญในการแก้ปัญหาขอบเขตการสังเคราะห์ที่ไม่เป็นธรรมชาติและสิ่งประดิษฐ์ฟิวชั่นที่เกิดจากความแตกต่างในรูปร่างของศีรษะ และทรงผม ด้วยการแยกการรวมพื้นหลังและฟิวชั่นส่วนหน้าออก และการรวมเทคโนโลยีคีย์โครมา รูปร่างศีรษะ และเทคโนโลยีการเพิ่มประสิทธิภาพของผมยาว และโมดูล Foreground Predictive Attention Transformer (FPAT) ทำให้ CHANGER สามารถผสานรวมส่วนหัวอ้างอิงและตัวเป้าหมายได้อย่างราบรื่น โดยการแสดงผล ซึ่งจะช่วยปรับปรุง ผลการคอมโพสิต
ความท้าทายหลักในการฟิวชั่นศีรษะคือความแตกต่างในรูปทรงศีรษะและโครงสร้างทรงผม ซึ่งมักส่งผลให้เกิดขอบเขตคอมโพสิตและสิ่งประดิษฐ์ฟิวชั่นที่ไม่เป็นธรรมชาติ วิธีการที่มีอยู่มักจะถือว่าการประมวลผลพื้นหน้าและพื้นหลังเป็นงานเดียว ส่งผลให้ผลลัพธ์การหลอมรวมไม่น่าพอใจ
CHANGER บรรลุการผสานรวมส่วนหัวอ้างอิงและเนื้อหาเป้าหมายได้อย่างราบรื่นโดยแยกการรวมพื้นหลังและการรวมส่วนหน้าออก และรวมเข้ากับเนื้อหาได้ดี ไปป์ไลน์ใช้เทคโนโลยีคีย์โครมาเพื่อสร้างพื้นหลังที่ปราศจากสิ่งแปลกปลอม และแนะนำเทคโนโลยีการเพิ่มรูปทรงศีรษะและผมยาว (การเพิ่มประสิทธิภาพ H2) เพื่อจำลองรูปทรงศีรษะและทรงผมต่างๆ วิธีการนี้ไม่เพียงปรับปรุงความสามารถในการปรับตัวเข้ากับฉากในชีวิตจริงที่หลากหลาย แต่ยังปรับปรุงการคาดเดาและการโฟกัสของพื้นที่สำคัญๆ ของศีรษะและลำตัวผ่านโมดูล Foreground Prediction Attention Transformer (FPAT)
การวิจัยแสดงให้เห็นว่าผลการประเมินเชิงปริมาณและเชิงคุณภาพของ CHANGER ในชุดข้อมูลเบนช์มาร์กนั้นเหนือกว่าเทคโนโลยีล้ำสมัยที่มีอยู่ โดยให้ผลการสังเคราะห์ระดับอุตสาหกรรมที่มีความเที่ยงตรงสูง เพื่อที่จะสาธิตเทคโนโลยีนี้ได้ดียิ่งขึ้น ทีมวิจัยประสบความสำเร็จในการได้รับตัวอย่างวิดีโอของการหลอมรวมส่วนหัวที่มีความเที่ยงตรงสูงในสภาพแวดล้อมจริง โดยการผสมผสานเทคโนโลยีคีย์โครมาเข้ากับไปป์ไลน์ CHANGER
จุดแข็งของ CHANGER อยู่ที่ประสิทธิภาพและการปฏิบัติจริงของขั้นตอนการประมวลผล ประการแรก ด้วยการแนะนำเทคโนโลยีคีย์โครมา ทำให้สามารถประมวลผลพื้นหลังได้อย่างราบรื่น ขจัดปัญหาการสังเคราะห์พื้นหลัง ประการที่สอง การประยุกต์ใช้เทคโนโลยีการปรับปรุง H2 ช่วยให้ศีรษะที่สังเคราะห์ขึ้นสามารถปรับให้เข้ากับทรงผมและรูปทรงที่หลากหลายมากขึ้น และสุดท้ายคือการออกแบบของ FPAT โมดูลช่วยให้มั่นใจได้ว่าเอฟเฟ็กต์ฟิวชั่นของพื้นหน้าและพื้นหลังจะเป็นธรรมชาติและราบรื่นยิ่งขึ้น การผสมผสานของเทคโนโลยีเหล่านี้ทำให้ CHANGER สามารถแสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าในการใช้งานทางอุตสาหกรรมต่างๆ
ทางเข้าโครงการ: https://hahminlew.github.io/changer/
โดยรวมแล้ว CHANGER ได้นำความก้าวหน้าครั้งใหม่มาสู่สาขาการสร้างเนื้อหาดิจิทัลด้วยขั้นตอนการประมวลผลที่มีประสิทธิภาพและเอฟเฟกต์การสังเคราะห์ที่เหนือกว่า และโอกาสในการใช้งานทางอุตสาหกรรมก็คุ้มค่าที่จะรอคอย บรรณาธิการของ Downcodes เชื่อว่าด้วยการพัฒนาและปรับปรุงเทคโนโลยีอย่างต่อเนื่อง CHANGER จะมีบทบาทมากขึ้นในอนาคต