โปรแกรมแก้ไข Downcodes จะพาคุณไปเรียนรู้เกี่ยวกับเทคโนโลยีที่เป็นนวัตกรรมของ Google ซึ่งล้มล้างการตัดต่อวิดีโอแบบเดิมๆ - ReCapture เทคโนโลยีนี้ช่วยให้ผู้ใช้สามารถปรับการเคลื่อนไหวของกล้องในระดับมืออาชีพได้อย่างง่ายดาย กำหนดภาษาเลนส์ของวิดีโอที่ถ่าย และทำให้ง่ายสำหรับนักตัดต่อวิดีโอมือใหม่ในการเริ่มต้น สิ่งนี้จะเปลี่ยนวิธีที่เราสร้างวิดีโออย่างไร มาสำรวจความลึกลับของ ReCapture ไปด้วยกัน
เทคโนโลยี ReCapture ล่าสุดที่ทีมวิจัยของ Google เปิดตัวกำลังทำลายวิธีการตัดต่อวิดีโอแบบเดิมๆ นวัตกรรมนี้ช่วยให้ผู้ใช้ทั่วไปสามารถปรับการเคลื่อนไหวของกล้องระดับมืออาชีพได้อย่างง่ายดาย และออกแบบภาษาของเลนส์ใหม่สำหรับวิดีโอที่ถ่ายไว้แล้ว
ในขั้นตอนหลังการถ่ายทำวิดีโอแบบเดิมๆ การเปลี่ยนมุมกล้องของวิดีโอที่ถ่ายไว้ถือเป็นปัญหาทางเทคนิคมาโดยตลอด เมื่อโซลูชันที่มีอยู่จัดการกับเนื้อหาวิดีโอประเภทต่างๆ ก็มักจะเป็นเรื่องยากที่จะรักษาเอฟเฟกต์การเคลื่อนไหวของกล้องที่ซับซ้อนและรายละเอียดของภาพไปพร้อมๆ กัน ReCapture ใช้แนวทางที่แตกต่างออกไปและไม่ได้ใช้วิธีการนำเสนอระดับกลางแบบ 4D แบบดั้งเดิม แต่กลับใช้ความรู้เกี่ยวกับการเคลื่อนไหวที่จัดเก็บไว้ในโมเดลวิดีโอแบบกำเนิดและกำหนดนิยามใหม่ให้กับงานเป็นกระบวนการแปลงวิดีโอเป็นวิดีโอผ่าน Stable Video Diffusion
ระบบใช้เวิร์กโฟลว์สองขั้นตอน ขั้นตอนแรกจะสร้างวิดีโอ Anchor ซึ่งเป็นเวอร์ชันเอาท์พุตเริ่มต้นพร้อมกับตำแหน่งกล้องใหม่ ขั้นตอนนี้สามารถทำได้โดยการสร้างวิดีโอหลายมุมผ่านโมเดลการแพร่กระจาย เช่น CAT3D หรือโดยการประมาณความลึกแบบเฟรมต่อเฟรม และการเรนเดอร์พอยต์คลาวด์ แม้ว่าเวอร์ชันนี้อาจมีช่วงเวลาไม่สอดคล้องกันและมีข้อบกพร่องด้านภาพ แต่ก็เป็นการวางรากฐานสำหรับระยะที่สอง
ขั้นตอนที่สองใช้การปรับแต่งวิดีโอแบบมาสก์อย่างละเอียด โดยใช้ประโยชน์จากโมเดลวิดีโอเชิงสร้างสรรค์ที่ได้รับการฝึกฝนกับฟุตเทจที่มีอยู่ เพื่อสร้างเอฟเฟกต์การเคลื่อนไหวที่สมจริงและการเปลี่ยนแปลงจังหวะเวลา ระบบแนะนำเลเยอร์ LoRA (การปรับอันดับต่ำ) ชั่วคราวเพื่อปรับโมเดลให้เหมาะสม เพื่อให้สามารถเข้าใจและจำลองลักษณะไดนามิกเฉพาะของวิดีโอ Anchor โดยไม่ต้องฝึกโมเดลใหม่ทั้งหมด ในขณะเดียวกัน ชั้น LoRA เชิงพื้นที่ช่วยให้แน่ใจว่ารายละเอียดของภาพและเนื้อหาสอดคล้องกับการเคลื่อนไหวของกล้องแบบใหม่ ซึ่งช่วยให้โมเดลวิดีโอเชิงสร้างสรรค์สามารถดำเนินการต่างๆ เช่น การซูม การแพน และการเอียง โดยที่ยังคงลักษณะการเคลื่อนไหวที่เป็นเอกลักษณ์ของวิดีโอต้นฉบับไว้
แม้ว่า ReCapture จะมีความก้าวหน้าที่สำคัญในการประมวลผลวิดีโอที่เป็นมิตรต่อผู้ใช้ แต่ก็ยังอยู่ในขั้นตอนการวิจัยและยังห่างไกลจากการใช้งานเชิงพาณิชย์ เป็นที่น่าสังเกตว่าแม้ว่า Google จะมีโปรเจ็กต์วิดีโอ AI มากมาย แต่ยังไม่ได้นำออกสู่ตลาด ในบรรดาโปรเจ็กต์ Veo อาจเป็นโปรเจ็กต์ที่ใกล้เคียงที่สุดกับการใช้งานเชิงพาณิชย์ ในทำนองเดียวกัน โมเดล Movie-Gen ที่เพิ่งเปิดตัวของ Meta และ Sora ของ OpenAI ที่เปิดตัวเมื่อต้นปียังไม่ได้ถูกจำหน่ายในเชิงพาณิชย์ ปัจจุบัน ตลาดวิดีโอ AI นำโดยสตาร์ทอัพเป็นหลัก เช่น Runway ซึ่งเปิดตัวโมเดล Gen-3Alpha รุ่นล่าสุดเมื่อฤดูร้อนที่แล้ว
การเกิดขึ้นของเทคโนโลยี ReCapture ถือเป็นการปฏิวัติวงการการตัดต่อวิดีโอ แม้ว่าจะยังอยู่ในขั้นตอนการวิจัยและพัฒนา แต่ฟังก์ชันอันทรงพลังและวิธีการใช้งานที่สะดวกสบายของมันก็มอบความเป็นไปได้ที่ไร้ขีดจำกัดสำหรับการสร้างสรรค์วิดีโอในอนาคตอย่างไม่ต้องสงสัย บรรณาธิการของ Downcodes จะยังคงให้ความสนใจกับความก้าวหน้าของเทคโนโลยีนี้ต่อไป และนำเสนอรายงานที่เกี่ยวข้องเพิ่มเติมให้กับคุณ