เทคโนโลยีการสร้างวิดีโอกำลังอยู่ระหว่างการเปลี่ยนแปลงครั้งยิ่งใหญ่! บอกลากระบวนการเรนเดอร์ที่ช้าและยินดีต้อนรับยุคแห่งการสร้างแบบเรียลไทม์! โมเดล CausVid ที่สร้างร่วมกันโดย Adobe และ MIT ทำลายสถิติด้านประสิทธิภาพในด้านการสร้างวิดีโอด้วยความเร็วที่น่าทึ่ง 9.4 เฟรมต่อวินาที และความล่าช้าของเฟรมแรก 1.3 วินาที เทคโนโลยีที่ก้าวล้ำนี้ใช้วิธีสร้าง "เชิงสาเหตุ" ใหม่ ซึ่งปรับปรุงความเร็วของการสร้างได้อย่างมากโดยการคาดการณ์เนื้อหาของเฟรมถัดไป และเสริมด้วยเทคโนโลยีขั้นสูง เช่น "การกลั่นแบบอสมมาตร" "การเริ่มต้น ODE" และ "แคช KV " เพื่อให้ได้วิดีโอคุณภาพสูงแบบเรียลไทม์
จำปีเหล่านั้นเมื่อเรารอโมเดลการสร้างวิดีโอแต่ละเฟรมมาเป็นเวลานาน ตอนนี้ บอกลาความเร็วของเต่าและยินดีต้อนรับความเร็วของแสง! Adobe และ MIT ร่วมมือกันเพื่อเปิดตัวโมเดลการสร้างวิดีโอ "เชิงสาเหตุ" ที่เรียกว่า CausVid สามารถสร้างวิดีโอคุณภาพสูงแบบเรียลไทม์ด้วยความเร็ว 9.4 เฟรมต่อวินาที โดยมีความล่าช้าของเฟรมแรกเพียง 1.3 วินาทีเท่านั้น! ของเกม ความเป็นจริงเสมือน และสื่อสตรีมมิ่งได้!
โมเดลการสร้างวิดีโอแบบดั้งเดิมนั้นเหมือนกับ "ช่างฝีมือรุ่นเก่า" ที่ทำงานช้าๆ และระมัดระวัง พวกเขาจำเป็นต้องวิเคราะห์ลำดับวิดีโอทั้งหมดอย่างรอบคอบเพื่อสร้างแต่ละเฟรม ดังนั้นความเร็วในการสร้างจึงช้ามาก ผู้ใช้ต้องรออย่างอดทนเป็นเวลาหลายนาทีหรือหลายชั่วโมงเพื่อดูวิดีโอฉบับสมบูรณ์ ซึ่งถือเป็นหายนะสำหรับสถานการณ์แอปพลิเคชันที่ต้องการการตอบสนองที่รวดเร็วและการโต้ตอบแบบเรียลไทม์
CausVid เป็น "flashman" ที่มีทักษะสูงซึ่งใช้วิธีการสร้าง "เชิงสาเหตุ" ใหม่ เพียงแต่ต้องประมวลผลเฟรมที่สร้างขึ้นเพื่อคาดเดาเนื้อหาของเฟรมถัดไป ได้อย่างราบรื่นและเป็นธรรมชาติ วิธีนี้ช่วยลดค่าใช้จ่ายในการคำนวณได้อย่างมาก และเพิ่มความเร็วในการสร้างวิดีโอได้หลายสิบเท่า!
CausVid พัฒนา "Lighting Magic" นี้ได้อย่างไร
อาวุธลับคือเทคโนโลยี "การกลั่นแบบอสมมาตร" ในตอนแรก นักวิจัยได้ฝึกฝนโมเดลการแพร่กระจาย "สองทาง" อันทรงพลัง ซึ่งสามารถสร้างวิดีโอคุณภาพสูง เช่น "ช่างฝีมือรุ่นเก่า" ได้ แต่ใช้ความเร็วที่ช้ากว่า จากนั้นพวกเขาใช้ความรู้ของโมเดลนี้เพื่อฝึก CausVid ซึ่งเป็นโมเดลเชิงกำเนิด "เชิงสาเหตุ" เพื่อเรียนรู้ที่จะทำนายเนื้อหาของเฟรมถัดไปอย่างรวดเร็ว
เพื่อปรับปรุงประสิทธิภาพของ CausVid ต่อไป นักวิจัยยังได้แนะนำเทคโนโลยี เช่น "การกำหนดค่าเริ่มต้น ODE" และ "แคช KV" เพื่อให้ทำงานเร็วขึ้นและเสถียรยิ่งขึ้นในระหว่างการฝึกอบรมและการอนุมาน ท้ายที่สุดแล้ว CausVid สามารถสร้างความเร็วได้อย่างน่าทึ่ง โดยนำการสร้างเนื้อหาวิดีโอเข้าสู่ยุคใหม่ของการโต้ตอบแบบเรียลไทม์!
CausVid ไม่เพียงแต่รวดเร็วเท่านั้น แต่ยังทรงพลังอีกด้วย! รองรับงานสร้างวิดีโอที่หลากหลาย รวมถึงข้อความเป็นวิดีโอ รูปภาพเป็นวิดีโอ การแปลงวิดีโอเป็นวิดีโอ ข้อความแจ้งแบบไดนามิก และอื่น ๆ ทั้งหมดนี้มีเวลาแฝงที่ต่ำมาก!
ลองนึกภาพว่าในอนาคตเราสามารถใช้ CausVid เพื่อสร้างฉากเกมแบบเรียลไทม์ หรือแก้ไขวิดีโอแบบเรียลไทม์ตามเสียงและการกระทำของเรา ซึ่งจะนำมาซึ่งการเปลี่ยนแปลงครั้งยิ่งใหญ่ในด้านเกม ความเป็นจริงเสมือน และสื่อสตรีมมิ่ง! CausVid เป็นจุดเริ่มต้นของวิดีโอ ความก้าวหน้าครั้งสำคัญในด้านการสร้าง มันจะปฏิวัติวิธีที่เราสร้างและใช้เนื้อหาวิดีโอ เปิดอนาคตที่เต็มไปด้วยความเป็นไปได้ไม่รู้จบ!
ที่อยู่โครงการ: https://causvid.github.io/
การเกิดขึ้นของ CausVid ได้นำความหวังใหม่มาสู่ด้านการสร้างวิดีโออย่างไม่ต้องสงสัย