ทีม DeepMind ของ Google ได้เปิดตัวโมเดล AI ที่เรียกว่า "Generative Omnimatte" ซึ่งสามารถแบ่งวิดีโอออกเป็นหลายเลเยอร์ได้เหมือนกับโปรแกรมตัดต่อที่มีทักษะ แยกผู้คน วัตถุ และพื้นหลังได้อย่างแม่นยำ และแม้แต่ "สมอง" "เติม" ส่วนที่ถูกบล็อกเพื่อให้ได้ความเย็นที่หลากหลาย เทคนิคพิเศษ เทคโนโลยีนี้ทลายข้อจำกัดของเทคโนโลยีการเคลือบวิดีโอแบบดั้งเดิม และสามารถทำงานตัดต่อวิดีโอที่ซับซ้อนได้อย่างง่ายดายโดยไม่จำเป็นต้องใช้หน้าจอสีเขียวหรือข้อมูลเชิงลึก บอกลาการทำงานที่น่าเบื่อ ทำให้การตัดต่อวิดีโอเป็นเรื่องง่ายและใช้งานง่าย และทุกคนก็สามารถเป็นผู้เชี่ยวชาญด้านการตัดต่อวิดีโอได้!
คุณยังจำเอฟเฟกต์พิเศษสุดเจ๋งในภาพยนตร์ได้หรือไม่ วัตถุหายไปจากอากาศและฉากเปลี่ยนไปทันทีหรือไม่ ตอนนี้ทีมงาน Google DeepMind ได้พัฒนาโมเดล AI ที่เรียกว่า "Generative Omnimatte" เพื่อทำให้เอฟเฟกต์พิเศษเหล่านี้เป็นไปได้ มันไม่ได้มีไว้สำหรับภาพยนตร์อีกต่อไป! AI นี้เปรียบเสมือนโปรแกรมตัดต่อที่มีทักษะซึ่งสามารถแบ่งวิดีโอออกเป็นหลายเลเยอร์ โดยแต่ละเลเยอร์จะมีวัตถุที่สมบูรณ์ รวมถึงเงา การสะท้อน และเอฟเฟกต์อื่น ๆ ที่เกิดขึ้น
เทคโนโลยีการปูวิดีโอแบบดั้งเดิมมักจะอาศัยการถ่ายภาพกรีนสกรีนหรือข้อมูลเชิงลึกที่แม่นยำ ซึ่งซับซ้อนมากในการใช้งาน โมเดล AI นี้ปราศจากข้อจำกัดเหล่านี้โดยสิ้นเชิง โดยไม่ต้องการข้อมูลเพิ่มเติมใด ๆ และสามารถแยกตัวละคร วัตถุ และพื้นหลังในวิดีโอได้อย่างสมบูรณ์แบบ และยังสามารถ "เติมสมอง" ให้กับส่วนที่แยกออกมาได้อีกด้วย
แกนหลักของโมเดล AI นี้คือโมเดลการลบวิดีโอที่เรียกว่า "Casper" มันเหมือนกับยางลบวิเศษที่สามารถลบวัตถุใดๆ ที่คุณระบุในวิดีโอได้อย่างแม่นยำ และเงาและการสะท้อนของวัตถุนั้นจะหายไป ในขณะที่พื้นหลังจะยังคงสภาพเดิม
ที่สำคัญกว่านั้นยังสามารถรวมวัตถุและพื้นหลังเข้าด้วยกันได้ตามความต้องการของผู้ใช้เพื่อให้ได้เอฟเฟกต์สร้างสรรค์ต่างๆ เช่น "การเคลื่อนย้าย" ตัวละครจากฉากหนึ่งไปยังอีกฉากหนึ่งหรือการเปลี่ยนความเร็วในการเคลื่อนที่ของวัตถุ หรือแม้แต่ทำให้พวกมันย้อนเวลากลับไป!
ด้วยสิ่งประดิษฐ์นี้ มันจะง่ายมากในการแก้ไขวิดีโอในอนาคต คุณสามารถเพิ่มเอฟเฟ็กต์พิเศษอะไรก็ได้ที่คุณต้องการ คุณไม่ต้องกังวลกับปัญหาทางเทคนิคเลย ทุกคนสามารถเป็นผู้เชี่ยวชาญด้านการตัดต่อได้ เช่น คุณต้องการ ในการ "เคลื่อนย้าย" เพื่อนจากบ้านไปที่ชายหาด คุณเพียงแค่ต้องใช้แคสเปอร์เพื่อตัดเพื่อนของคุณออกและวางไว้ที่พื้นหลังริมทะเล มันไม่ง่ายเลยเหรอ? หรือคัดลอกไปเป็นเพื่อนหลาย ๆ คนแล้วเต้นด้วยกันตามที่คุณต้องการก็น่าสนใจที่จะคิด!
แน่นอนว่า Generative Omnimatte ยังอยู่ในขั้นตอนการพัฒนา และยังมีข้อบกพร่องเล็กๆ น้อยๆ บางอย่างที่ต้องแก้ไข เช่น หากมีวัตถุที่คล้ายกันมากหลายชิ้นในวิดีโอ AI อาจไม่สามารถบอกได้ว่าใครเป็นใครและทำให้สับสนได้ นอกจากนี้หากวัตถุเสียรูป เช่น เสาโค้งงอ AI ก็จะไม่รู้ว่าจะจัดการกับมันอย่างไร อย่างไรก็ตาม ฉันเชื่อว่าทีมงาน Google DeepMind จะแก้ปัญหาเหล่านี้ได้ในเร็วๆ นี้ และทำให้ Generative Omnimatte สมบูรณ์แบบยิ่งขึ้นไปอีก!
ที่อยู่โครงการ: https://gen-omnimatte.github.io/
ที่อยู่กระดาษ: https://arxiv.org/pdf/2411.16683
Generative Omnimatte ได้นำการเปลี่ยนแปลงที่ปฏิวัติวงการมาสู่การตัดต่อวิดีโอ และจะนำแอพพลิเคชั่นและเอฟเฟกต์พิเศษที่น่าประหลาดใจมาให้เรามากขึ้นในอนาคต รอดูกัน!