Gelaito4

Gelaito4: Eine Sportmedienplattform, die auf kollaborativer Computer Vision und generativer KI basiert

Einführung

• Gelaito4 ist ein Anwendungsprototyp, der das Seherlebnis von Sportereignissen durch die Bereitstellung von Spielerinformationen in Echtzeit, automatische Videokategorisierung und personalisierte Videoempfehlungen verbessern soll.

Demo

Motivation

• Beim Ansehen von Videos zu Sportveranstaltungen möchten Zuschauer häufig schnell die Namen oder zugehörigen Daten von Spielern erfahren, können sich bei der Online-Suche jedoch nur auf vage Trikotnummern oder Spielereigenschaften verlassen. Dies erfordert nicht nur das Anhalten des Videos und das Verpassen spannender Momente, sondern nimmt auch viel Zeit in Anspruch, um Informationen zu finden.
• Benutzer verbringen oft viel Zeit damit, Videoinhalte manuell zu kategorisieren und mit Tags zu versehen, wenn sie sich eine große Anzahl von Videos zu Sportereignissen ansehen, was mühsam und zeitaufwändig ist. Wenn die Plattform die Videos kategorisiert, erfordert dies viel Personal, ist zeitaufwändig und kostspielig und die Effizienz der Videokategorisierung ist gering.
• Beim Ansehen von Sportveranstaltungsvideos möchten die Zuschauer schnell die Höhepunkte des Spiels erfassen, aber die Erstellung eines Spiel-Highlights erfordert Arbeitskräfte, um das gesamte Spiel anzusehen, Clips auszuwählen und sie zu bearbeiten, was zeitaufwändig und arbeitsintensiv ist.
• Wenn Benutzer beim Ansehen eines Videos Interesse an einem bestimmten Thema bekunden, entspricht die Empfehlung anderer ähnlicher Videos mit hoher Wahrscheinlichkeit den Vorlieben des Benutzers und verbessert so das Seherlebnis.

Merkmale

• Anzeige von Spielerinformationen in Echtzeit : Zuschauer können auf einen Spieler im Video klicken, um dessen Namen, seine taktische Rolle und historische Daten in einem Popup-Dialogfeld anzuzeigen, ohne selbst danach suchen zu müssen.
• Spiel-Highlights schnell erfassen : Mithilfe der KI-Technologie können Benutzer schnell die Highlights des Spiels erfassen, wodurch der Zeitaufwand für die Suche nach Videos reduziert und der langwierige Suchvorgang vereinfacht wird. KI kann den Spielinhalt zusammenfassen und die Hotspots und Highlights markieren, wodurch dem Unternehmen die Kosten für die Einstellung von Teilzeitstudenten erspart bleiben.
• Automatische Kategorisierung : Mithilfe der KI-Technologie kategorisiert und markiert das System Videos automatisch anhand verschiedener Kategorien, sodass Benutzer schnell verwandte Videos finden und das Seherlebnis verbessern können.
• Videoempfehlungen : Durch die Analyse des Sehverhaltens des Nutzers empfiehlt die KI weitere ähnliche Videos basierend auf dem aktuell angesehenen Video, wodurch es für Nutzer einfacher wird, interessante Inhalte zu entdecken und das Seherlebnis zu verbessern.

Lösung und Innovation

• Synchronisierung von Spielerinformationen in Echtzeit : Verwendung visueller KI-Modelle zur Erkennung der Trikotnummern der Spieler auf dem Spielfeld, kombiniert mit Web-Crawling-Technologie und GenAI zur Verarbeitung und Aggregation von Informationen, wodurch Echtzeit- und historische Daten von Spielern generiert werden.
• Videokategorisierung : Verwendung des Texteinbettungsmodells von OpenAI zur Konvertierung von Videoinformationen in Vektordarstellungen und Kategorisierung ähnlicher Videos mithilfe des Kmeans-Algorithmus. GenAI analysiert jeden Kategoriesatz und weist einen entsprechenden Kategorienamen zu, wodurch eine automatische Kategorisierung der Videobibliothek erreicht wird.
• Generieren von Video-Zusammenfassungen : Verwenden von GenAI-Modellen zum Erfassen von Video-Audio-Informationen, Konvertieren in Textdateien und Zusammenfassen der Informationen mit GenAI zum Generieren von Video-Übersichten und zusammenfassenden Clips.
• Generieren von Video-Highlights : Einbetten der Suche in den generierten Video-Zusammenfassungstext, Vergleichen mit allgemeinen Schlüsselwörtern von Schlüsselsegmenten (z. B. „Ziel!“, „Punktzahl“) und Identifizieren der Zeitpunkte spannender Segmente. Erweitern der Zeitpunkte davor und danach und Verwenden des NLTK-Modells zum Zuschneiden und Zusammenführen mehrerer erweiterter Videoclips, um sicherzustellen, dass die Clips über einen vollständigen Kontext verfügen.

Leistungen

• Homepage-Design : Benutzer können auf der Homepage interessante Videos auswählen. Wenn Sie auf ein Video klicken, gelangen Sie zu einer anderen Seite mit drei Hauptfunktionen:
  • Videowiedergabe und Spielerinformationen in Echtzeit : Benutzer können während des Spiels auf die Spieler klicken, die sie interessieren. Daraufhin wird sofort ein Dialogfeld mit dem Namen und den Informationen des Spielers angezeigt.
  • Highlights : Die Highlights des Spiels werden unterhalb der Videowiedergabe angezeigt und Benutzer können auf die Titel klicken, die sie interessieren, um die Highlights anzusehen.
  • Empfohlene Videos : Basierend auf den angezeigten Inhalten des Benutzers empfiehlt das System verwandte, interessante Videos.
• Menüleiste und Videokategorisierung : Die Startseite verfügt über eine Menüleiste, in der Benutzer Videos nach Kategorien durchsuchen können, wobei die Kategorien automatisch von der KI generiert werden.

So richten Sie es ein

Voraussetzungen

• Flattern: https://docs.flutter.dev/get-started/install

Setup-Projekt

• Git-Klon von GitHub:

git clone https://github.com/deeeelin/Gelaito4.git

• Führen Sie im Projektordner flutter run -d chrome --web-renderer html aus