英偉達與馬裡蘭大學合作研發的QUEEN AI模型,為虛擬實境和串流媒體領域帶來了革命性突破。該模型能夠實現體育賽事等場景的自由視角切換,同時將每幀3D場景壓縮至極小的0.7MB,並保持驚人的350幀每秒渲染速度,這在以往的技術中難以實現。這項突破性進展,得益於QUEEN獨特的演算法,它能夠聰明地識別並處理場景中變化的部分,提高計算效率,從而在壓縮率、視覺品質、編碼時間和渲染速度之間取得了完美的平衡。
在虛擬實境和串流媒體領域,英偉達攜手馬裡蘭大學帶來了突破性進展。這款被命名為QUEEN的AI模型,不僅能讓觀眾在體育賽事中隨心所欲地切換觀賽視角,更能將每幀3D場景壓縮至僅0.7MB大小,同時保持驚人的350幀每秒渲染速度。
這項技術的關鍵在於其獨特的處理方式。傳統的3D場景重建往往面臨著儲存空間過大或畫質不佳的兩難困境,而QUEEN巧妙地解決了這個問題。它採用智慧演算法專注於捕捉畫面中發生變化的部分,對於保持靜態的場景元素則進行重複利用,大大提升了計算效率。
英偉達研究主管沙利尼·德梅洛道出了QUEEN的核心優勢:"我們創造了一個完美平衡壓縮率、視覺質量、編碼時間和渲染速度的解決方案。"這種平衡使得近乎實時的自由視點視訊傳輸成為可能。
在技術層面,QUEEN採用了創新的3D高斯飛濺框架,透過學習連續幀之間的高斯屬性殘差來實現高品質重建。研究團隊也開發了量化稀疏框架,結合了專門的latent-decoder和閘控模組,進一步優化了資料儲存效率。
這項技術的應用前景令人期待:體育愛好者可以在比賽直播中自由選擇觀賽角度,音樂會觀眾能夠獲得身臨其境的虛擬現實體驗,遠距教學時學習者也可以選擇最適合自己的視角來學習烹飪或手工藝等技能。在工業領域,它更可以助力倉庫的遠端操作管理。
如此快速的渲染速度配合出色的視覺效果,QUEEN正在重新定義串流體驗的未來。這不僅是科技的進步,更是為數位內容創作者和消費者開啟了一個充滿可能性的新時代。
QUEEN模型的出現,預示著串流技術進入了一個新的發展階段,其在各個領域的應用潛力巨大,未來值得期待。相信在不久的將來,我們將能體驗到更流暢、逼真、沉浸式的數位內容。