Gelaito4

Gelaito4 : une plateforme de médias sportifs alimentée par la vision par ordinateur collaborative et l'IA générative

Introduction

• Gelaito4 est un prototype d'application conçu pour améliorer l'expérience de visionnage d'événements sportifs en fournissant des informations sur les joueurs en temps réel, une catégorisation automatique des vidéos et des recommandations vidéo personnalisées.

Démo

Motivation

• Lorsqu'ils regardent des vidéos d'événements sportifs, les téléspectateurs souhaitent souvent connaître rapidement les noms ou les données associées des joueurs, mais ne peuvent s'appuyer que sur de vagues numéros de maillot ou sur les caractéristiques des joueurs pour effectuer une recherche en ligne. Cela nécessite non seulement de mettre la vidéo en pause, de manquer des moments passionnants, mais cela prend également beaucoup de temps pour trouver des informations.
• Les utilisateurs passent souvent beaucoup de temps à catégoriser et à marquer manuellement le contenu vidéo lorsqu'ils regardent un grand nombre de vidéos d'événements sportifs, ce qui est fastidieux et prend beaucoup de temps. Si la plateforme catégorise les vidéos, cela nécessite beaucoup de main d’œuvre, prend du temps et coûte cher, et l’efficacité de la catégorisation des vidéos est faible.
• Les téléspectateurs veulent saisir rapidement les moments forts du jeu lorsqu'ils regardent des vidéos d'événements sportifs, mais la création d'un moment fort du jeu nécessite de la main-d'œuvre pour regarder l'intégralité du match, sélectionner les clips et les éditer, ce qui prend du temps et demande beaucoup de main d'œuvre.
• Lorsque les utilisateurs expriment leur intérêt pour un sujet particulier tout en regardant une vidéo, la recommandation d'autres vidéos similaires a une forte probabilité de correspondre aux préférences de l'utilisateur, améliorant ainsi l'expérience de visionnage.

Caractéristiques

• Affichage des informations sur le joueur en temps réel : les téléspectateurs peuvent cliquer sur un joueur dans la vidéo pour voir son nom, son rôle tactique et ses données historiques dans une boîte de dialogue contextuelle sans avoir à le rechercher eux-mêmes.
• Saisir rapidement les points forts du jeu : grâce à la technologie IA, les utilisateurs peuvent saisir rapidement les points forts du jeu, réduisant ainsi le temps passé à rechercher des vidéos et simplifiant le processus de recherche fastidieux. L'IA peut résumer le contenu du jeu et marquer les points chauds et les points forts, ce qui permet à l'entreprise d'économiser le coût de l'embauche d'étudiants à temps partiel.
• Catégorisation automatique : grâce à la technologie d'IA, le système catégorise et marque automatiquement les vidéos en fonction de différentes catégories, permettant ainsi aux utilisateurs de trouver rapidement des vidéos associées et d'améliorer l'expérience de visionnage.
• Recommandations vidéo : en analysant le comportement de visionnage de l'utilisateur, l'IA recommande d'autres vidéos similaires en fonction de la vidéo actuellement regardée, permettant ainsi aux utilisateurs de découvrir plus facilement du contenu intéressant et d'améliorer l'expérience de visionnage.

Solutions et innovations

• Synchronisation des informations sur les joueurs en temps réel : utilisation de modèles visuels d'IA pour reconnaître les numéros de maillot des joueurs sur le terrain, combinés à la technologie d'exploration du Web et à GenAI pour traiter et agréger les informations, générant des données historiques et en temps réel sur les joueurs.
• Catégorisation vidéo : utilisation du modèle d'intégration de texte d'OpenAI pour convertir les informations vidéo en représentations vectorielles et catégorisation de vidéos similaires à l'aide de l'algorithme Kmeans. GenAI analyse chaque ensemble de catégories et attribue un nom de catégorie approprié, réalisant ainsi une catégorisation automatisée de la vidéothèque.
• Génération de résumés vidéo : utilisation de modèles GenAI pour capturer des informations audio vidéo, les convertir en fichiers texte et résumer les informations avec GenAI pour générer des plans vidéo et des clips récapitulatifs.
• Génération de faits saillants vidéo : intégration de la recherche du texte de résumé vidéo généré, comparaison avec des mots-clés courants de segments clés (par exemple, "Objectif!", "Score ~") et identification des points temporels des segments passionnants. Étendre les points temporels avant et après et utiliser le modèle NLTK pour découper et fusionner plusieurs clips vidéo étendus, garantissant ainsi que les clips ont un contexte complet.

Livrables

• Conception de la page d'accueil : les utilisateurs peuvent choisir des vidéos qui les intéressent sur la page d'accueil. En cliquant sur une vidéo, vous passerez à une autre page avec trois fonctions principales :
  • Lecture vidéo et informations sur le joueur en temps réel : les utilisateurs peuvent cliquer sur les joueurs qui les intéressent pendant le jeu, et une boîte de dialogue affichant le nom et les informations du joueur apparaîtra immédiatement.
  • Faits saillants : Les faits saillants du jeu sont affichés sous la lecture vidéo, et les utilisateurs peuvent cliquer sur les titres qui les intéressent pour regarder les faits saillants.
  • Vidéos recommandées : en fonction du contenu visionné par l'utilisateur, le système recommande des vidéos d'intérêt connexes.
• Barre de menus et catégorisation des vidéos : la page d'accueil dispose d'une barre de menus permettant aux utilisateurs de parcourir les vidéos par catégorie, avec des catégories générées automatiquement par l'IA.

Comment configurer

Conditions préalables

• Flutter : https://docs.flutter.dev/get-started/install

Projet de configuration

• Clone Git depuis GitHub :

git clone https://github.com/deeeelin/Gelaito4.git

• Dans le dossier du projet, exécutez flutter run -d chrome --web-renderer html