고화질 비디오의 시대가 다가오고 있지만, 저지방 비디오의 얼굴에 대한 세부 사항은 종종 흐려져 시청 경험에 심각한 영향을 미칩니다. 기존 얼굴 수리 기술은 세부 사항과 시간 일관성의 재구성의 균형을 맞추기가 어렵습니다. Nanyang Technological University의 연구팀은 Keep Framework를 개발하여 고화질 비디오 수리를위한 새로운 솔루션을 제공했습니다.
끊임없이 변화하는 정보 의이 시대에 비디오는 우리 삶의 필수 부분이되었습니다. 그러나 비디오의 품질은 종종 우리의 시청 경험, 특히 얼굴 세부 사항을 제시하는 데 영향을 미칩니다.
기존의 많은 비디오 얼굴 수리 방법은 단순히 일반 비디오 슈퍼 해상도 네트워크를 얼굴 데이터 세트에 적용하거나 각 비디오 이미지를 독립적으로 처리하는 것입니다. 이 방법들은 종종 얼굴 세부 사항과 시간의 일관성을 보장하기가 어렵다는 것을 알게됩니다. 이 문제를 해결하기 위해 Nanyang Technological University의 연구팀은 Keep (Kalman에서 영감을 얻은 기능 전파)라는 새로운 프레임 워크를 시작했으며, 이는 낮은 정의 비디오의 얼굴을 고화질로 복원 할 수 있습니다.
제품 포털 : https://top.aibase.com/tool/keep
Keep의 핵심 아이디어는 Kalman 필터링 원칙에서 비롯되며,이 방법은 복구 프로세스에서 "리콜"하는 능력을 제공합니다. 다시 말해서, Keep는 이전에 복구 된 프레임의 정보를 사용하여 현재 프레임의 수리 과정을 안내하고 조정할 수 있습니다. 이 프로세스는 비디오 프레임에서 얼굴 세부 사항의 일관성과 연속성을 크게 향상시킵니다.
KIEK 프레임 워크에서 전체 프로세스는 엔코더, 디코더, 칼만 필터링 네트워크 및 크로스 프레임주의 (CFA)의 네 가지 모듈로 나뉩니다. 인코더 및 디코더는 고화질 얼굴 이미지를 생성하는 데 전용 된 가변 구성 요소 양자 생성 Adversarial Network (VQGAN)를 기반으로 모델을 구성합니다. Kalman 필터링 네트워크는이 기술의 핵심 부분이며 현재 프레임의 예측 상태를 결합하여 현재 상태의보다 정확한 추정치를 형성하여 더 명확한 이미지를 생성합니다.
또한 크로스 프레임주의 모듈은 다른 프레임 간의 상관 관계를 더욱 향상시켜 비디오 재생 중에 더 나은 적시성과 세부 프레젠테이션을 유지하는 데 도움이됩니다. 이 디자인의 독창성은 각 프레임의 정보를 효과적으로 통합하여 최종 생성 된 비디오를 명확하게 할뿐만 아니라 레이어링으로 가득 차 있다는 것입니다.
많은 실험을 마친 후, 연구팀은 CIPE 기술이 얼굴 세부 사항을 복원하고 시간 일관성을 유지하는 데 상당히 잘 수행된다는 것을 확인했습니다. 유지는 복잡한 시뮬레이션 환경 또는 실제 비디오 시나리오에서 강력한 기능을 보여줍니다. 이 기술의 출시는 비디오 시청 경험을 새로운 개선 할 것이라고 말할 수 있습니다.
핵심 사항 :
기술을 유지하면 얼굴 비디오에서 세부 사항과 시간의 일관성을 효과적으로 유지할 수 있습니다.
이 프레임 워크는 Kalman 필터링의 원칙을 결합하여 프레임 간 정보의 효과적인 전송 및 융합을 실현합니다.
실험에서 탁월한 얼굴 세부 사항 캡처 기능을 유지하여 얼굴 비디오의 초 고해상도 분야에 새로운 활력을 주입합니다.
Keep Framework의 혁신은 Kalman 필터링 원칙의 영리한 적용과 프레임간에 정보를 효과적으로 통합하는 능력에있어 고화질 비디오 수리 기술을위한 새로운 벤치 마크를 설정하고 사용자의 비디오보기 경험을 크게 향상시킬 것으로 예상됩니다. 앞으로이 기술은 영화 및 텔레비전 제작, 화상 회의 및 기타 분야에서 광범위한 응용 프로그램 전망을 갖게 될 것입니다.