Recientemente, Goku, un modelo de generación de videos móviles desarrollado por la Universidad de Hong Kong y Bytedance, se lanzó oficialmente. Este modelo utiliza algoritmos de generación avanzada para generar contenido de video de alta calidad basado en indicaciones de texto, enriqueciendo en gran medida la expresión del arte digital.
Para demostrar el poder del modelo Goku, el equipo de investigación creó una serie de maravillosos ejemplos de video que no solo demuestran las capacidades técnicas del modelo, sino que también demuestran su potencial ilimitado en el rendimiento creativo.
El modelo Goku se caracteriza por su eficiente velocidad de generación y calidad de imagen. Al usar una gran cantidad de entrenamiento de datos, Goku puede generar varias escenas que incluyen animación, paisaje natural, comportamiento de animales, etc. Los investigadores utilizaron el indicador original de películasgenbench para las pruebas, asegurando la consistencia y la equidad del efecto de demostración.
Por ejemplo, uno de los videos muestra a una mujer de moda caminando con confianza en las calles de Tokio, con coloridas luces de neón que reflejan la noche cálida, y los peatones están llenos de escenas vívidas y realistas.
Otro video muestra varios mamuts gigantes caminando tranquilamente en la nieve, con las montañas y bosques nevados circundantes que hacen que las personas se sientan como si estuvieran en un mundo de hielo y nieve. Estas escenas vívidas no solo atraen la atención de la audiencia, sino que también brindan una rica inspiración para los creadores artísticos.
Lo que es aún más sorprendente es que Goku también admite la generación directa de videos humanos digitales virtuales. Goku+ convierte el texto en videos humanos surrealistas, que es significativamente mejor que los métodos existentes. En particular, puede generar videos durante 20 segundos, con movimientos de manos estables y movimientos faciales y corporales altamente expresivos de sujetos humanos.
Además, admite funciones como generar videos interactivos a partir de imágenes de productos, mantener estilos de productos y generar videos de visualización de productos y generar videos publicitarios a partir de texto.
Como se muestra a continuación: Goku+ convierte las imágenes de productos en videoclips atractivos para garantizar la optimización de extremo a extremo. Este proceso mejora el atractivo y la efectividad de sus materiales de marketing.
Como se muestra a continuación: cree videos realistas y atractivos que muestren productos específicos. Estos videos capturan efectivamente la esencia del producto y aumentan el compromiso y el interés de la audiencia.
Además, el modelo admite la creación de texto de videos personalizados de alta definición para optimizar los escenarios de publicidad, que es significativamente mejor que los modelos de video básicos de la competencia.
Entrada del proyecto: https://saiyan-world.github.io/goku/