Este artículo presenta el modelo Video ReCap, una tecnología de generación de subtítulos de vídeo de código abierto que es capaz de generar subtítulos de vídeo jerárquicos que cubren duraciones de vídeo que van desde 1 segundo hasta 2 horas. El modelo adopta una arquitectura de lenguaje de video recursivo e incluye tres módulos principales: codificador de video, alineación de lenguaje de video y decodificador de texto recursivo. Puede comprender contenido de video en diferentes duraciones de tiempo y niveles de abstracción y generar descripciones precisas y ricas en capas. Su arquitectura recursiva muestra ventajas significativas en la generación de descripciones de párrafos y resúmenes de videos, y puede mejorar el efecto de preguntas y respuestas largas en videos, generando nuevos avances en los campos de la comprensión de videos y la generación de contenido.
El modelo Video ReCap es una tecnología de generación de subtítulos de vídeo de código abierto que puede procesar vídeos de 1 segundo a 2 horas y generar subtítulos de vídeo en capas en diferentes niveles. Al utilizar una arquitectura de lenguaje de video recursivo, que incluye tres módulos: codificador de video, alineación de lenguaje de video y decodificador de texto recursivo, el modelo puede comprender videos en diferentes duraciones de tiempo y niveles de abstracción y generar subtítulos de descripción de video precisos y con muchas capas. Los experimentos demuestran la importancia de las arquitecturas recursivas para generar descripciones de segmentos y resúmenes en vídeo. Además, los subtítulos de vídeo jerárquicos generados por este modelo pueden mejorar significativamente el efecto de las preguntas y respuestas de vídeo largas basadas en el conjunto de datos de EgoSchema.En definitiva, el modelo Video ReCap muestra un gran potencial en la comprensión y aplicación de vídeo con sus eficientes capacidades de generación de subtítulos y su estructura jerárquica, proporcionando nuevas direcciones y soporte técnico para la investigación y el desarrollo en campos relacionados. Su característica de código abierto también facilita que más investigadores y desarrolladores participen y promuevan conjuntamente el progreso y la mejora de esta tecnología.