Gelaito4: una plataforma de medios deportivos impulsada por visión informática colaborativa e inteligencia artificial generativa
Introducción
- Gelaito4 es un prototipo de aplicación diseñado para mejorar la experiencia de visualización de eventos deportivos al proporcionar información de los jugadores en tiempo real, categorización automática de videos y recomendaciones de videos personalizadas.
Manifestación
Motivación
- Al ver videos de eventos deportivos, los espectadores a menudo quieren saber rápidamente los nombres o datos relacionados de los jugadores, pero solo pueden confiar en números vagos de camisetas o características de los jugadores para buscar en línea. Esto no sólo requiere pausar el vídeo y perderse momentos emocionantes, sino que también requiere mucho tiempo para encontrar información.
- Los usuarios suelen dedicar mucho tiempo a categorizar y etiquetar manualmente el contenido de vídeo cuando ven una gran cantidad de vídeos de eventos deportivos, lo que resulta tedioso y requiere mucho tiempo. Si la plataforma categoriza los vídeos, requiere mucha mano de obra, lleva mucho tiempo y es costosa, y la eficiencia de la categorización de vídeos es baja.
- Los espectadores quieren captar rápidamente los aspectos más destacados del juego cuando miran videos de eventos deportivos, pero crear un momento destacado del juego requiere mano de obra para ver el juego completo, seleccionar clips y editarlos, lo cual requiere mucho tiempo y trabajo.
- Cuando los usuarios expresan interés en un tema en particular mientras miran un video, recomendar otros videos similares tiene una alta probabilidad de coincidir con las preferencias del usuario, mejorando la experiencia de visualización.
Características
- Visualización de información del jugador en tiempo real : los espectadores pueden hacer clic en un jugador en el video para ver su nombre, rol táctico y datos históricos en un cuadro de diálogo emergente sin tener que buscarlo ellos mismos.
- Capte rápidamente los aspectos más destacados del juego : utilizando la tecnología de inteligencia artificial, los usuarios pueden captar rápidamente los aspectos más destacados del juego, lo que reduce el tiempo dedicado a buscar videos y simplifica el tedioso proceso de búsqueda. La IA puede resumir el contenido del juego y marcar los puntos destacados y destacados, ahorrando a la empresa el coste de contratar estudiantes a tiempo parcial.
- Categorización automática : utilizando tecnología de inteligencia artificial, el sistema clasifica y etiqueta automáticamente videos en función de diferentes categorías, lo que facilita a los usuarios encontrar rápidamente videos relacionados y mejorar la experiencia de visualización.
- Recomendaciones de video : al analizar el comportamiento de visualización del usuario, la IA recomienda otros videos similares basados en el video que está viendo actualmente, lo que facilita a los usuarios descubrir contenido interesante y mejorar la experiencia de visualización.
Solución e Innovación
- Sincronización de información de jugadores en tiempo real : uso de modelos visuales de IA para reconocer los números de las camisetas de los jugadores en el campo, combinados con tecnología de rastreo web y GenAI para procesar y agregar información, generando datos históricos y en tiempo real de los jugadores.
- Categorización de videos : uso del modelo de incrustación de texto de OpenAI para convertir información de video en representaciones vectoriales y categorización de videos similares usando el algoritmo Kmeans. GenAI analiza cada conjunto de categorías y asigna un nombre de categoría apropiado, logrando una categorización automatizada de la videoteca.
- Generación de resúmenes de video : uso de modelos GenAI para capturar información de audio de video, convertirla en archivos de texto y resumir la información con GenAI para generar esquemas de video y clips de resumen.
- Generación de vídeos destacados : incrustar la búsqueda del texto del resumen del vídeo generado, compararlo con palabras clave comunes de segmentos clave (por ejemplo, "¡Objetivo!", "Puntuación~") e identificar los puntos temporales de segmentos interesantes. Expandir los puntos de tiempo antes y después y usar el modelo NLTK para recortar y fusionar múltiples clips de video expandidos, asegurando que los clips tengan un contexto completo.
Entregables
- Diseño de la página de inicio : los usuarios pueden elegir videos de su interés en la página de inicio. Al hacer clic en un vídeo se saltará a otra página con tres funciones principales:
- Reproducción de vídeo e información del jugador en tiempo real : los usuarios pueden hacer clic en los jugadores de su interés durante el juego y aparecerá inmediatamente un cuadro de diálogo que muestra el nombre y la información del jugador.
- Aspectos destacados : los aspectos más destacados del juego se muestran debajo de la reproducción del video y los usuarios pueden hacer clic en los títulos de interés para verlos.
- Vídeos recomendados : según el contenido que ve el usuario, el sistema recomienda vídeos de interés relacionados.
- Barra de menú y categorización de videos : la página de inicio tiene una barra de menú para que los usuarios busquen videos por categoría, con categorías generadas automáticamente por IA.
Cómo configurar
Requisitos previos
- Aleteo: https://docs.flutter.dev/get-started/install
Proyecto de instalación
- Clon de Git desde GitHub:
git clone https://github.com/deeeelin/Gelaito4.git
- En la carpeta del proyecto, ejecute
flutter run -d chrome --web-renderer html