Das von NVIDIA und der University of Maryland gemeinsam entwickelte KI-Modell QUEEN hat revolutionäre Durchbrüche in den Bereichen virtuelle Realität und Streaming-Medien gebracht. Dieses Modell kann einen freien Perspektivwechsel in Szenen wie Sportereignissen realisieren, während jedes Bild von 3D-Szenen auf sehr kleine 0,7 MB komprimiert wird und eine erstaunliche Rendering-Geschwindigkeit von 350 Bildern pro Sekunde beibehalten wird, die mit früheren Technologien schwer zu erreichen ist. Dieser bahnbrechende Fortschritt ist auf den einzigartigen Algorithmus von QUEEN zurückzuführen, der sich ändernde Teile der Szene intelligent identifizieren und verarbeiten und die Recheneffizienz verbessern kann, wodurch ein perfektes Gleichgewicht zwischen Komprimierungsrate, visueller Qualität, Codierungszeit und Rendering-Geschwindigkeit erreicht wird.
Im Bereich Virtual Reality und Streaming Media haben NVIDIA und die University of Maryland einen Durchbruch geschafft. Dieses KI-Modell mit dem Namen QUEEN ermöglicht es den Zuschauern nicht nur, den Betrachtungswinkel bei Sportveranstaltungen nach Belieben zu wechseln, sondern komprimiert auch jedes Bild einer 3D-Szene auf eine Größe von nur 0,7 MB und behält dabei eine erstaunliche Rendergeschwindigkeit von 350 Bildern pro Sekunde bei.
Der Schlüssel zu dieser Technologie liegt in ihrer einzigartigen Verarbeitungsmethode. Bei der herkömmlichen 3D-Szenenrekonstruktion steht man oft vor dem Dilemma übermäßiger Speicherplatz oder schlechter Bildqualität, und QUEEN löst dieses Problem geschickt. Es verwendet intelligente Algorithmen, um sich auf die Erfassung der sich ändernden Teile des Bildes zu konzentrieren, und verwendet Szenenelemente, die statisch bleiben, wieder, wodurch die Recheneffizienz erheblich verbessert wird.
Shalini de Mello, Forschungsleiterin bei NVIDIA, sprach über die Kernvorteile von QUEEN: „Wir haben eine Lösung geschaffen, die ein perfektes Gleichgewicht zwischen Komprimierungsverhältnis, visueller Qualität, Kodierungszeit und Rendering-Geschwindigkeit bietet.“ Videoübertragung ist möglich.
Auf technischer Ebene verwendet QUEEN ein innovatives 3D-Gaußsches Splash-Framework, um eine qualitativ hochwertige Rekonstruktion zu erreichen, indem Gaußsche Attributreste zwischen aufeinanderfolgenden Frames gelernt werden. Das Forschungsteam entwickelte außerdem ein quantisiertes Sparse-Framework, das einen speziellen Latent-Decoder und Gating-Module kombiniert, um die Datenspeichereffizienz weiter zu optimieren.
Die Anwendungsaussichten dieser Technologie sind spannend: Sportfans können den Blickwinkel bei Live-Spielen frei wählen, Konzertpublikum kann ein immersives Virtual-Reality-Erlebnis erleben und Lernende können beim Fernunterricht auch die für sie am besten geeignete Perspektive wählen, um Fähigkeiten zu erlernen wie Kochen oder Basteln. Im industriellen Bereich kann es auch bei der Remote-Betriebsverwaltung von Lagerhäusern hilfreich sein.
Mit solch hoher Rendering-Geschwindigkeit und herausragenden visuellen Effekten definiert QUEEN die Zukunft des Streaming-Erlebnisses neu. Dies ist nicht nur ein technologischer Fortschritt, sondern eröffnet auch eine neue Ära voller Möglichkeiten für Ersteller und Verbraucher digitaler Inhalte.
Das Aufkommen des QUEEN-Modells zeigt, dass die Streaming-Media-Technologie in eine neue Entwicklungsphase eingetreten ist. Ihr Anwendungspotenzial in verschiedenen Bereichen ist enorm und es lohnt sich, in die Zukunft zu blicken. Ich glaube, dass wir in naher Zukunft flüssigere, realistischere und immersivere digitale Inhalte erleben können.