Gelaito4: uma plataforma de mídia esportiva alimentada por visão computacional colaborativa e IA generativa
Introdução
- Gelaito4 é um protótipo de aplicativo projetado para aprimorar a experiência de visualização de eventos esportivos, fornecendo informações dos jogadores em tempo real, categorização automática de vídeos e recomendações personalizadas de vídeos.
Demonstração
Motivação
- Ao assistir a vídeos de eventos esportivos, os espectadores muitas vezes desejam saber rapidamente os nomes ou dados relacionados dos jogadores, mas só podem contar com números vagos de camisas ou características dos jogadores para pesquisar online. Isso não requer apenas pausar o vídeo, perder momentos emocionantes, mas também leva muito tempo para encontrar informações.
- Os usuários geralmente gastam muito tempo categorizando e marcando manualmente o conteúdo do vídeo ao assistir a um grande número de vídeos de eventos esportivos, o que é tedioso e demorado. Se a plataforma categorizar os vídeos, ela exigirá muita mão de obra, será demorada e cara, e a eficiência da categorização dos vídeos será baixa.
- Os espectadores desejam compreender rapidamente os destaques do jogo ao assistir a vídeos de eventos esportivos, mas criar um destaque do jogo requer mão de obra para assistir ao jogo inteiro, selecionar clipes e editá-los, o que é demorado e trabalhoso.
- Quando os usuários manifestam interesse em um determinado tema enquanto assistem a um vídeo, a recomendação de outros vídeos semelhantes tem grande probabilidade de corresponder às preferências do usuário, melhorando a experiência de visualização.
Características
- Exibição de informações do jogador em tempo real : os espectadores podem clicar em um jogador no vídeo para ver seu nome, função tática e dados históricos em uma caixa de diálogo pop-up sem precisar procurá-los eles mesmos.
- Capte rapidamente os destaques do jogo : usando a tecnologia de IA, os usuários podem captar rapidamente os destaques do jogo, reduzindo o tempo gasto na busca por vídeos e simplificando o tedioso processo de busca. A IA pode resumir o conteúdo do jogo e marcar os pontos críticos e destaques, economizando para a empresa o custo de contratação de estudantes em meio período.
- Categorização automática : usando a tecnologia de IA, o sistema categoriza e marca automaticamente os vídeos com base em diferentes categorias, facilitando aos usuários a localização rápida de vídeos relacionados e melhorando a experiência de visualização.
- Recomendações de vídeo : Ao analisar o comportamento de visualização do usuário, a IA recomenda outros vídeos semelhantes com base no vídeo assistido no momento, tornando mais fácil para os usuários descobrirem conteúdos interessantes e aprimorarem a experiência de visualização.
Solução e Inovação
- Sincronização de informações do jogador em tempo real : uso de modelos visuais de IA para reconhecer os números das camisas dos jogadores em campo, combinados com tecnologia de rastreamento da web e GenAI para processar e agregar informações, gerando dados históricos e em tempo real dos jogadores.
- Categorização de vídeo : usando o modelo de incorporação de texto da OpenAI para converter informações de vídeo em representações vetoriais e categorizar vídeos semelhantes usando o algoritmo Kmeans. GenAI analisa cada conjunto de categorias e atribui um nome de categoria apropriado, obtendo categorização automatizada da videoteca.
- Gerando resumos de vídeo : usando modelos GenAI para capturar informações de áudio e vídeo, convertê-las em arquivos de texto e resumir as informações com GenAI para gerar contornos de vídeo e clipes de resumo.
- Gerando destaques de vídeo : incorporação de pesquisa do texto de resumo do vídeo gerado, comparando-o com palavras-chave comuns de segmentos-chave (por exemplo, "Meta!", "Pontuação ~") e identificando os pontos no tempo de segmentos interessantes. Expandir os pontos de tempo antes e depois e usar o modelo NLTK para cortar e mesclar vários videoclipes expandidos, garantindo que os clipes tenham contexto completo.
Entregáveis
- Design da página inicial : os usuários podem escolher vídeos de interesse na página inicial. Clicar em um vídeo irá pular para outra página com três funções principais:
- Reprodução de vídeo e informações do jogador em tempo real : os usuários podem clicar nos jogadores de seu interesse durante o jogo, e uma caixa de diálogo exibindo o nome e as informações do jogador aparecerá imediatamente.
- Destaques : Os destaques do jogo são exibidos abaixo da reprodução do vídeo, e os usuários podem clicar nos títulos de interesse para assistir aos destaques.
- Vídeos Recomendados : Com base no conteúdo visualizado pelo usuário, o sistema recomenda vídeos relacionados de interesse.
- Barra de menu e categorização de vídeos : A página inicial possui uma barra de menu para os usuários navegarem pelos vídeos por categoria, com categorias geradas automaticamente pela IA.
Como configurar
Pré-requisitos
- Flutter: https://docs.flutter.dev/get-started/install
Projeto de configuração
git clone https://github.com/deeeelin/Gelaito4.git
- Na pasta do projeto, execute
flutter run -d chrome --web-renderer html
