โปรแกรมแก้ไข Downcodes จะพาคุณไปทำความเข้าใจเทคโนโลยี Google ReCapture และเทคโนโลยีที่พลิกโฉมนี้จะเปลี่ยนการตัดต่อวิดีโออย่างไร! ReCapture ช่วยให้ผู้ใช้ทั่วไปสามารถปรับการเคลื่อนไหวของกล้องระดับมืออาชีพได้อย่างง่ายดาย ออกแบบภาษาของเลนส์วิดีโอใหม่ และนำการเปลี่ยนแปลงที่ปฏิวัติวงการมาสู่ขั้นตอนหลังการถ่ายทำวิดีโอ เทคโนโลยีนี้ไม่ต้องอาศัยวิธีการแสดงระดับกลางแบบ 4D แบบดั้งเดิมอีกต่อไป แต่ใช้ความรู้ด้านการเคลื่อนไหวของโมเดลวิดีโอเชิงสร้างสรรค์อย่างชาญฉลาดเพื่อแปลงการตัดต่อวิดีโอให้เป็นกระบวนการแปลงวิดีโอเป็นวิดีโอ ทำให้ขั้นตอนการทำงานง่ายขึ้นอย่างมากและยังคงรักษาลักษณะของรายละเอียดไว้ และคุณภาพของภาพ
เทคโนโลยี ReCapture ล่าสุดที่ทีมวิจัยของ Google เปิดตัวกำลังทำลายวิธีการตัดต่อวิดีโอแบบเดิมๆ นวัตกรรมนี้ช่วยให้ผู้ใช้ทั่วไปสามารถปรับการเคลื่อนไหวของกล้องระดับมืออาชีพได้อย่างง่ายดาย และออกแบบภาษาของเลนส์ใหม่สำหรับวิดีโอที่ถ่ายไว้แล้ว
ในขั้นตอนหลังการถ่ายทำวิดีโอแบบเดิมๆ การเปลี่ยนมุมกล้องของวิดีโอที่ถ่ายไว้ถือเป็นปัญหาทางเทคนิคมาโดยตลอด เมื่อโซลูชันที่มีอยู่จัดการกับเนื้อหาวิดีโอประเภทต่างๆ ก็มักจะเป็นเรื่องยากที่จะรักษาเอฟเฟกต์การเคลื่อนไหวของกล้องที่ซับซ้อนและรายละเอียดของภาพไปพร้อมๆ กัน ReCapture ใช้แนวทางที่แตกต่างออกไปและไม่ได้ใช้วิธีการนำเสนอระดับกลางแบบ 4D แบบดั้งเดิม แต่กลับใช้ความรู้เกี่ยวกับการเคลื่อนไหวที่จัดเก็บไว้ในโมเดลวิดีโอแบบกำเนิดและกำหนดนิยามใหม่ให้กับงานเป็นกระบวนการแปลงวิดีโอเป็นวิดีโอผ่าน Stable Video Diffusion
ระบบใช้เวิร์กโฟลว์สองขั้นตอน ขั้นตอนแรกจะสร้างวิดีโอ Anchor ซึ่งเป็นเวอร์ชันเอาท์พุตเริ่มต้นพร้อมกับตำแหน่งกล้องใหม่ ขั้นตอนนี้สามารถทำได้โดยการสร้างวิดีโอหลายมุมผ่านโมเดลการแพร่กระจาย เช่น CAT3D หรือโดยการประมาณความลึกแบบเฟรมต่อเฟรม และการเรนเดอร์พอยต์คลาวด์ แม้ว่าเวอร์ชันนี้อาจมีช่วงเวลาไม่สอดคล้องกันและมีข้อบกพร่องด้านภาพ แต่ก็เป็นการวางรากฐานสำหรับระยะที่สอง
ขั้นตอนที่สองใช้การปรับแต่งวิดีโอแบบมาสก์อย่างละเอียด โดยใช้ประโยชน์จากโมเดลวิดีโอเชิงสร้างสรรค์ที่ได้รับการฝึกฝนกับฟุตเทจที่มีอยู่ เพื่อสร้างเอฟเฟกต์การเคลื่อนไหวที่สมจริงและการเปลี่ยนแปลงจังหวะเวลา ระบบแนะนำเลเยอร์ LoRA (การปรับอันดับต่ำ) ชั่วคราวเพื่อปรับโมเดลให้เหมาะสม เพื่อให้สามารถเข้าใจและจำลองลักษณะไดนามิกเฉพาะของวิดีโอ Anchor โดยไม่ต้องฝึกโมเดลใหม่ทั้งหมด ในขณะเดียวกัน ชั้น LoRA เชิงพื้นที่ช่วยให้แน่ใจว่ารายละเอียดของภาพและเนื้อหาสอดคล้องกับการเคลื่อนไหวของกล้องแบบใหม่ ซึ่งช่วยให้โมเดลวิดีโอเชิงสร้างสรรค์สามารถดำเนินการต่างๆ เช่น การซูม การแพน และการเอียง โดยที่ยังคงลักษณะการเคลื่อนไหวที่เป็นเอกลักษณ์ของวิดีโอต้นฉบับไว้
แม้ว่า ReCapture จะมีความก้าวหน้าที่สำคัญในการประมวลผลวิดีโอที่เป็นมิตรต่อผู้ใช้ แต่ก็ยังอยู่ในขั้นตอนการวิจัยและยังห่างไกลจากการใช้งานเชิงพาณิชย์ เป็นที่น่าสังเกตว่าแม้ว่า Google จะมีโปรเจ็กต์วิดีโอ AI มากมาย แต่ยังไม่ได้นำออกสู่ตลาด ในบรรดาโปรเจ็กต์ Veo อาจเป็นโปรเจ็กต์ที่ใกล้เคียงที่สุดกับการใช้งานเชิงพาณิชย์ ในทำนองเดียวกัน โมเดล Movie-Gen ที่เพิ่งเปิดตัวของ Meta และ Sora ของ OpenAI ที่เปิดตัวเมื่อต้นปียังไม่ได้ถูกจำหน่ายในเชิงพาณิชย์ ปัจจุบัน ตลาดวิดีโอ AI นำโดยสตาร์ทอัพเป็นหลัก เช่น Runway ซึ่งเปิดตัวโมเดล Gen-3Alpha รุ่นล่าสุดเมื่อฤดูร้อนที่แล้ว
การเกิดขึ้นของเทคโนโลยี ReCapture ถือเป็นการประกาศทิศทางการพัฒนาในอนาคตในด้านการตัดต่อวิดีโอ แม้ว่าจะยังอยู่ในขั้นตอนการวิจัย แต่ฟังก์ชันอันทรงพลังและวิธีการใช้งานที่สะดวกสบายจะนำมาซึ่งความเป็นไปได้มากขึ้นอย่างไม่ต้องสงสัยในการสร้างสรรค์วิดีโอ เราตั้งตารอที่จะใช้เทคโนโลยีนี้ในเชิงพาณิชย์และเติบโตเต็มที่ในอนาคต โดยนำประสบการณ์การตัดต่อวิดีโอที่สะดวกและมีประสิทธิภาพยิ่งขึ้นมาสู่ผู้ใช้ส่วนใหญ่