El modelo QUEEN AI desarrollado conjuntamente por NVIDIA y la Universidad de Maryland ha aportado avances revolucionarios a los campos de la realidad virtual y los medios de streaming. Este modelo puede realizar un cambio de perspectiva libre en escenas como eventos deportivos, mientras comprime cada cuadro de escenas 3D a 0,7 MB muy pequeños y mantiene una asombrosa velocidad de renderizado de 350 cuadros por segundo, lo cual es difícil de lograr con tecnologías anteriores. Este avance revolucionario se debe al algoritmo único de QUEEN, que puede identificar y procesar de manera inteligente partes cambiantes de la escena y mejorar la eficiencia informática, logrando así un equilibrio perfecto entre la tasa de compresión, la calidad visual, el tiempo de codificación y el equilibrio de la velocidad de renderizado.
En el campo de la realidad virtual y los medios de streaming, NVIDIA y la Universidad de Maryland han logrado un gran avance. Este modelo de IA llamado QUEEN no solo permite a los espectadores cambiar los ángulos de visión a voluntad durante eventos deportivos, sino que también comprime cada cuadro de una escena 3D a solo 0,7 MB de tamaño mientras mantiene una asombrosa velocidad de renderizado de 350 cuadros por segundo.
La clave de esta tecnología es su método de procesamiento único. La reconstrucción tradicional de escenas en 3D a menudo enfrenta el dilema de un espacio de almacenamiento excesivo o una calidad de imagen deficiente, y QUEEN resuelve inteligentemente este problema. Utiliza algoritmos inteligentes para centrarse en capturar las partes cambiantes de la imagen y reutiliza elementos de la escena que permanecen estáticos, lo que mejora enormemente la eficiencia informática.
Shalini de Mello, jefa de investigación de NVIDIA, habló de las principales ventajas de QUEEN: "Hemos creado una solución que equilibra perfectamente la relación de compresión, la calidad visual, el tiempo de codificación y la velocidad de renderizado. Este equilibrio permite un punto de vista libre casi en tiempo real". Es posible la transmisión de vídeo.
A nivel técnico, QUEEN adopta un innovador marco de salpicaduras gaussiano 3D para lograr una reconstrucción de alta calidad mediante el aprendizaje de residuos de atributos gaussianos entre fotogramas consecutivos. El equipo de investigación también desarrolló un marco disperso cuantificado, que combina un decodificador latente especializado y módulos de activación para optimizar aún más la eficiencia del almacenamiento de datos.
Las perspectivas de aplicación de esta tecnología son emocionantes: los fanáticos de los deportes pueden elegir libremente el ángulo de visión durante los juegos en vivo, el público de los conciertos puede obtener una experiencia de realidad virtual inmersiva y los estudiantes también pueden elegir el más adecuado para ellos durante la enseñanza remota para aprender habilidades. como cocinar o hacer manualidades. En el ámbito industrial, también puede ayudar en la gestión remota de operaciones de almacenes.
Con una velocidad de renderizado tan rápida y efectos visuales excepcionales, QUEEN está redefiniendo el futuro de la experiencia de streaming. Esto no es sólo un avance en la tecnología, sino que también abre una nueva era llena de posibilidades para los creadores y consumidores de contenidos digitales.
La aparición del modelo QUEEN indica que la tecnología de transmisión de medios ha entrado en una nueva etapa de desarrollo. Su potencial de aplicación en diversos campos es enorme y vale la pena mirar hacia el futuro. Creo que en un futuro próximo podremos experimentar contenidos digitales más fluidos, realistas e inmersivos.