Gelaito4: Platform Media Olahraga yang Didukung oleh Visi Komputer Kolaboratif dan AI Generatif
Perkenalan
- Gelaito4 adalah prototipe aplikasi yang dirancang untuk meningkatkan pengalaman menonton acara olahraga dengan menyediakan informasi pemain secara real-time, kategorisasi video otomatis, dan rekomendasi video yang dipersonalisasi.
Demo
Motivasi
- Saat menonton video acara olahraga, pemirsa sering kali ingin mengetahui nama atau data terkait pemain dengan cepat, tetapi hanya dapat mengandalkan nomor punggung atau karakteristik pemain yang tidak jelas untuk mencari secara online. Hal ini tidak hanya memerlukan jeda video, melewatkan momen-momen seru, tetapi juga membutuhkan banyak waktu untuk mencari informasi.
- Pengguna sering kali menghabiskan banyak waktu untuk mengkategorikan dan menandai konten video secara manual saat menonton video acara olahraga dalam jumlah besar, yang membosankan dan memakan waktu. Jika platform mengkategorikan video, hal tersebut memerlukan banyak tenaga kerja, memakan waktu dan biaya, serta efisiensi kategorisasi video yang rendah.
- Pemirsa ingin segera memahami sorotan pertandingan saat menonton video acara olahraga, namun membuat sorotan pertandingan memerlukan tenaga untuk menonton keseluruhan pertandingan, memilih klip, dan mengeditnya, yang memakan waktu dan tenaga.
- Saat pengguna menyatakan minatnya pada topik tertentu saat menonton video, merekomendasikan video serupa lainnya memiliki kemungkinan besar untuk cocok dengan preferensi pengguna, sehingga meningkatkan pengalaman menonton.
Fitur
- Tampilan Informasi Pemain Secara Real-time : Pemirsa dapat mengklik pemain di video untuk melihat nama, peran taktis, dan data historisnya dalam kotak dialog pop-up tanpa harus mencarinya sendiri.
- Pahami Sorotan Game dengan Cepat : Menggunakan teknologi AI, pengguna dapat dengan cepat memahami sorotan game, mengurangi waktu yang dihabiskan untuk mencari video dan menyederhanakan proses pencarian yang membosankan. AI dapat meringkas konten game dan menandai hotspot dan sorotan, sehingga menghemat biaya perekrutan siswa paruh waktu bagi perusahaan.
- Kategorisasi Otomatis : Menggunakan teknologi AI, sistem secara otomatis mengkategorikan dan menandai video berdasarkan kategori berbeda, sehingga memudahkan pengguna menemukan video terkait dengan cepat dan meningkatkan pengalaman menonton.
- Rekomendasi Video : Dengan menganalisis perilaku menonton pengguna, AI merekomendasikan video serupa lainnya berdasarkan video yang sedang ditonton, sehingga memudahkan pengguna menemukan konten menarik dan meningkatkan pengalaman menonton.
Solusi dan Inovasi
- Sinkronisasi Informasi Pemain Secara Real-time : Menggunakan model visual AI untuk mengenali nomor punggung pemain di lapangan, dikombinasikan dengan teknologi perayapan web dan GenAI untuk memproses dan mengumpulkan informasi, menghasilkan data pemain secara real-time dan historis.
- Kategorisasi Video : Menggunakan model penyematan teks OpenAI untuk mengubah informasi video menjadi representasi vektor, dan mengkategorikan video serupa menggunakan algoritma Kmeans. GenAI menganalisis setiap kumpulan kategori dan menetapkan nama kategori yang sesuai, sehingga mencapai kategorisasi perpustakaan video otomatis.
- Menghasilkan Ringkasan Video : Menggunakan model GenAI untuk menangkap informasi audio video, mengubahnya menjadi file teks, dan merangkum informasi tersebut dengan GenAI untuk menghasilkan kerangka video dan klip ringkasan.
- Menghasilkan Sorotan Video : Menyematkan pencarian teks ringkasan video yang dihasilkan, membandingkannya dengan kata kunci umum dari segmen utama (misalnya, "Sasaran!", "Skor~"), dan mengidentifikasi titik waktu dari segmen yang menarik. Memperluas titik waktu sebelum dan sesudahnya, dan menggunakan model NLTK untuk memangkas dan menggabungkan beberapa klip video yang diperluas, memastikan klip tersebut memiliki konteks yang lengkap.
Hasil kerja
- Desain Beranda : Pengguna dapat memilih video yang menarik di beranda. Mengklik video akan melompat ke halaman lain dengan tiga fungsi utama:
- Pemutaran Video dan Informasi Pemain Real-time : Pengguna dapat mengklik pemain yang diinginkan selama permainan, dan kotak dialog yang menampilkan nama dan informasi pemain akan segera muncul.
- Sorotan : Sorotan permainan ditampilkan di bawah pemutaran video, dan pengguna dapat mengeklik judul yang diinginkan untuk menonton sorotan.
- Video yang Direkomendasikan : Berdasarkan konten yang dilihat pengguna, sistem merekomendasikan video terkait yang menarik.
- Bilah Menu dan Kategorisasi Video : Halaman beranda memiliki bilah menu bagi pengguna untuk menelusuri video berdasarkan kategori, dengan kategori yang dibuat secara otomatis oleh AI.
Bagaimana cara mengaturnya
Prasyarat
- Bergetar: https://docs.flutter.dev/get-started/install
Proyek Pengaturan
git clone https://github.com/deeeelin/Gelaito4.git
- Di folder proyek, jalankan
flutter run -d chrome --web-renderer html
