Este artigo apresenta o modelo Video ReCap, uma tecnologia de geração de legendas de vídeo de código aberto que é capaz de gerar legendas de vídeo hierárquicas cobrindo durações de vídeo que variam de 1 segundo a 2 horas. O modelo adota uma arquitetura de linguagem de vídeo recursiva e inclui três módulos principais: codificador de vídeo, alinhamento de linguagem de vídeo e decodificador de texto recursivo. Ele pode compreender o conteúdo de vídeo em diferentes durações de tempo e níveis de abstração e gerar descrições precisas e ricamente em camadas. Sua arquitetura recursiva mostra vantagens significativas na geração de descrições de parágrafos e resumos de vídeo e pode melhorar o efeito de longas perguntas e respostas em vídeos, trazendo novos avanços nas áreas de compreensão de vídeo e geração de conteúdo.
O modelo Video ReCap é uma tecnologia de geração de legendas de vídeo de código aberto que pode processar vídeos de 1 segundo a 2 horas e gerar legendas de vídeo em camadas em diferentes níveis. Ao usar uma arquitetura de linguagem de vídeo recursiva, incluindo três módulos: codificador de vídeo, alinhamento de linguagem de vídeo e decodificador de texto recursivo, o modelo é capaz de compreender vídeos em diferentes durações de tempo e níveis de abstração e gerar legendas de descrição de vídeo precisas e ricamente em camadas. Experimentos demonstram a importância das arquiteturas recursivas para gerar descrições de segmentos e resumos de vídeos. Além disso, as legendas de vídeo hierárquicas geradas por este modelo podem melhorar significativamente o efeito de perguntas e respostas de vídeos longos com base no conjunto de dados EgoSchema.Em suma, o modelo Video ReCap apresenta grande potencial na compreensão e aplicação de vídeo com suas eficientes capacidades de geração de legendas e estrutura hierárquica, fornecendo novos rumos e suporte técnico para pesquisa e desenvolvimento em áreas afins. Seu recurso de código aberto também facilita a participação de mais pesquisadores e desenvolvedores e a promoção conjunta do progresso e aprimoramento dessa tecnologia.