ยุคของวิดีโอความละเอียดสูงกำลังจะมาถึง แต่รายละเอียดของใบหน้าในวิดีโอความละเอียดต่ำมักจะเบลอซึ่งส่งผลกระทบอย่างรุนแรงต่อประสบการณ์การรับชม เทคโนโลยีการซ่อมแซมใบหน้าที่มีอยู่นั้นยากที่จะสร้างความสมดุลให้กับการสร้างรายละเอียดและเวลาที่สอดคล้องกัน ทีมวิจัยของ Nanyang Technological University ได้พัฒนาเฟรมเวิร์ก Keep ซึ่งเป็นโซลูชั่นใหม่สำหรับการซ่อมแซมวิดีโอความละเอียดสูง
ในยุคของข้อมูลที่เปลี่ยนแปลงตลอดเวลาวิดีโอได้กลายเป็นส่วนที่ขาดไม่ได้ในชีวิตของเรา อย่างไรก็ตามคุณภาพของวิดีโอมักส่งผลกระทบต่อประสบการณ์การรับชมของเราโดยเฉพาะอย่างยิ่งในการนำเสนอรายละเอียดใบหน้า
วิธีการซ่อมแซมใบหน้าวิดีโอที่มีอยู่หลายวิธีนั้นเป็นเพียงการใช้เครือข่ายความละเอียดสูงวิดีโอทั่วไปกับชุดข้อมูลใบหน้าหรือประมวลผลภาพวิดีโอแต่ละภาพอย่างอิสระ วิธีการเหล่านี้มักจะพบว่าเป็นเรื่องยากที่จะมั่นใจในความสอดคล้องของรายละเอียดใบหน้าและเวลา เพื่อแก้ปัญหานี้ทีมวิจัยที่ Nanyang Technological University ได้เปิดตัวกรอบใหม่ที่เรียกว่า Keep (การแพร่กระจายฟีเจอร์ที่ได้รับแรงบันดาลใจจาก Kalman) ซึ่งสามารถคืนค่าใบหน้าในวิดีโอความละเอียดต่ำไปสู่ความละเอียดสูง
พอร์ทัลผลิตภัณฑ์: https://top.aibase.com/tool/keep
แนวคิดหลักของ Keep มาจากหลักการกรอง Kalman ซึ่งให้วิธีการนี้มีความสามารถในการ "เรียกคืน" ในกระบวนการกู้คืน กล่าวอีกนัยหนึ่ง Keep สามารถให้คำแนะนำและปรับกระบวนการซ่อมแซมของเฟรมปัจจุบันด้วยความช่วยเหลือของข้อมูลของเฟรมที่กู้คืนก่อนหน้านี้ กระบวนการนี้ปรับปรุงความสอดคล้องและความต่อเนื่องของรายละเอียดใบหน้าอย่างมากในเฟรมวิดีโอ
ในเฟรมเวิร์ก KEEP กระบวนการทั้งหมดแบ่งออกเป็นสี่โมดูล: ตัวเข้ารหัสตัวถอดรหัสเครือข่ายการกรอง Kalman และความสนใจข้ามเฟรม (CFA) ตัวเข้ารหัสและตัวถอดรหัสสร้างโมเดลตามส่วนประกอบของตัวแปรการสร้างควอนตัมเครือข่ายฝ่ายตรงข้าม (VQGAN) ที่อุทิศให้กับการสร้างภาพใบหน้าความละเอียดสูง เครือข่ายการกรอง Kalman เป็นส่วนสำคัญของเทคโนโลยีนี้
นอกจากนี้โมดูลความสนใจข้ามเฟรมช่วยเพิ่มความสัมพันธ์ระหว่างเฟรมที่แตกต่างกันช่วยรักษาความตรงเวลาและการนำเสนอรายละเอียดที่ดีขึ้นในระหว่างการเล่นวิดีโอ ความเป็นเอกลักษณ์ของการออกแบบนี้คือมันสามารถรวมข้อมูลของแต่ละเฟรมได้อย่างมีประสิทธิภาพทำให้วิดีโอที่สร้างขึ้นขั้นสุดท้ายไม่เพียง แต่ชัดเจน แต่ยังเต็มไปด้วยชั้น
หลังจากการทดลองจำนวนมากทีมวิจัยได้ยืนยันว่าเทคโนโลยี KEEP ทำงานได้ค่อนข้างดีในการฟื้นฟูรายละเอียดใบหน้าและรักษาความสอดคล้องของเวลา แสดงความสามารถที่ทรงพลังไม่ว่าจะเป็นในสภาพแวดล้อมการจำลองที่ซับซ้อนหรือในสถานการณ์วิดีโอจริง อาจกล่าวได้ว่าการเปิดตัวเทคโนโลยีนี้จะนำการปรับปรุงใหม่มาสู่ประสบการณ์การรับชมวิดีโอของเรา
ประเด็นสำคัญ:
ทำให้เทคโนโลยีสามารถรักษาความสอดคล้องของรายละเอียดและเวลาในวิดีโอใบหน้าได้อย่างมีประสิทธิภาพ
เฟรมเวิร์กนี้รวมหลักการของการกรอง Kalman เพื่อให้ตระหนักถึงการส่งข้อมูลที่มีประสิทธิภาพและการหลอมรวมของข้อมูลระหว่างเฟรม
แสดงให้เห็นถึงความสามารถในการจับภาพรายละเอียดใบหน้าที่ยอดเยี่ยมในการทดลองฉีดพลังใหม่เข้าไปในสนามของวิดีโอใบหน้าที่มีความละเอียดสูง
นวัตกรรมของเฟรมเวิร์กอยู่ในการประยุกต์ใช้หลักการกรอง Kalman และความสามารถในการรวมข้อมูลระหว่างเฟรมอย่างมีประสิทธิภาพการตั้งค่าเกณฑ์มาตรฐานใหม่สำหรับเทคโนโลยีการซ่อมแซมวิดีโอความละเอียดสูงและคาดว่าจะปรับปรุงประสบการณ์การรับชมวิดีโอของผู้ใช้อย่างมาก ในอนาคตเทคโนโลยีนี้จะมีโอกาสในการผลิตภาพยนตร์และโทรทัศน์ในวงกว้างการประชุมทางวิดีโอและสาขาอื่น ๆ