Gelaito4: 協調的なコンピューター ビジョンと生成 AI を活用したスポーツ メディア プラットフォーム
導入
- Gelaito4 は、リアルタイムの選手情報、ビデオの自動分類、およびパーソナライズされたビデオの推奨を提供することにより、スポーツ イベントの視聴体験を向上させるように設計されたアプリケーション プロトタイプです。
デモ
モチベーション
- スポーツ イベントのビデオを見ているとき、視聴者は選手の名前や関連データをすぐに知りたいと思うことがよくありますが、オンラインで検索するには曖昧な背番号や選手の特徴しか頼りにできません。これには、ビデオを一時停止してエキサイティングな瞬間を見逃す必要があるだけでなく、情報を見つけるのに多くの時間がかかります。
- ユーザーは、多数のスポーツ イベントのビデオを視聴するときに、ビデオ コンテンツを手動で分類したりタグ付けしたりするのに多くの時間を費やしますが、これは面倒で時間がかかります。プラットフォームがビデオを分類すると、多くの人手が必要となり、時間とコストがかかり、ビデオ分類の効率は低くなります。
- 視聴者はスポーツイベントの動画を視聴する際、試合のハイライトを素早く把握したいと考えていますが、試合のハイライトを作成するには試合全体を見て、クリップを選択し、編集する人手が必要であり、時間と労力がかかります。
- ユーザーがビデオの視聴中に特定のトピックに興味を示した場合、他の同様のビデオを推奨すると、ユーザーの好みに合致する可能性が高く、視聴体験が向上します。
特徴
- リアルタイムのプレーヤー情報表示: 視聴者はビデオ内のプレーヤーをクリックすると、自分で検索しなくても、ポップアップ ダイアログ ボックスでそのプレーヤーの名前、戦術的役割、履歴データを確認できます。
- ゲームのハイライトを素早く把握: AI テクノロジーを使用することで、ユーザーはゲームのハイライトを素早く把握できるため、ビデオの検索にかかる時間が短縮され、面倒な検索プロセスが簡素化されます。 AI はゲームの内容を要約し、ホットスポットやハイライトをマークできるため、企業はアルバイト学生を雇用するコストを節約できます。
- 自動分類: AI テクノロジーを使用して、システムはさまざまなカテゴリに基づいてビデオを自動的に分類およびタグ付けするため、ユーザーは関連するビデオをすばやく見つけて視聴エクスペリエンスを向上させることができます。
- 動画の推奨: ユーザーの視聴行動を分析することにより、AI が現在視聴している動画に基づいて他の同様の動画を推奨するため、ユーザーは興味深いコンテンツを見つけやすくなり、視聴体験が向上します。
ソリューションとイノベーション
- リアルタイムの選手情報同期: AI ビジュアル モデルを使用してフィールド上の選手の背番号を認識し、Web クローリング テクノロジーと GenAI を組み合わせて情報を処理および集約し、選手のリアルタイム データと履歴データを生成します。
- ビデオの分類: OpenAI のテキスト埋め込みモデルを使用してビデオ情報をベクトル表現に変換し、Kmeans アルゴリズムを使用して類似したビデオを分類します。 GenAI は各カテゴリ セットを分析し、適切なカテゴリ名を割り当て、ビデオ ライブラリの自動分類を実現します。
- ビデオ概要の生成: GenAI モデルを使用してビデオ音声情報をキャプチャし、それをテキスト ファイルに変換し、GenAI で情報を要約してビデオ アウトラインと概要クリップを生成します。
- ビデオハイライトの生成: 生成されたビデオ概要テキストの埋め込み検索、主要セグメントの共通キーワード (例: 「ゴール!」、「スコア~」) との比較、およびエキサイティングなセグメントの時点の特定。前後の時点を拡張し、NLTK モデルを使用して複数の拡張されたビデオ クリップをトリムおよびマージし、クリップに完全なコンテキストが含まれるようにします。
成果物
- ホームページのデザイン: ユーザーはホームページで興味のあるビデオを選択できます。ビデオをクリックすると、次の 3 つの主な機能を備えた別のページにジャンプします。
- ビデオの再生とリアルタイムのプレーヤー情報: ユーザーはゲーム中に興味のあるプレーヤーをクリックすると、プレーヤーの名前と情報を表示するダイアログ ボックスがすぐにポップアップ表示されます。
- ハイライト: ゲームのハイライトはビデオ再生の下に表示され、ユーザーは興味のあるタイトルをクリックしてハイライトを視聴できます。
- 推奨ビデオ: ユーザーの視聴コンテンツに基づいて、システムは興味のある関連ビデオを推奨します。
- メニュー バーとビデオの分類: ホームページには、ユーザーがカテゴリ別にビデオを閲覧するためのメニュー バーがあり、カテゴリは AI によって自動的に生成されます。
セットアップ方法
前提条件
- Flutter: https://docs.flutter.dev/get-started/install
プロジェクトのセットアップ
git clone https://github.com/deeeelin/Gelaito4.git
- プロジェクト フォルダーで、
flutter run -d chrome --web-renderer html実行します。
