Gelaito4: спортивная медиа-платформа, основанная на совместном компьютерном зрении и генеративном искусственном интеллекте
Введение
- Gelaito4 — это прототип приложения, предназначенный для улучшения впечатлений от просмотра спортивных событий за счет предоставления информации об игроках в режиме реального времени, автоматической категоризации видео и персонализированных видеорекомендаций.
Демо
Мотивация
- При просмотре видеороликов о спортивных мероприятиях зрители часто хотят быстро узнать имена или соответствующие данные игроков, но могут полагаться только на расплывчатые номера футболок или характеристики игроков при поиске в Интернете. Это не только требует поставить видео на паузу, пропустить волнующие моменты, но и отнимает много времени на поиск информации.
- Пользователи часто тратят много времени на ручную категоризацию и маркировку видеоконтента при просмотре большого количества видеороликов о спортивных мероприятиях, что утомительно и отнимает много времени. Если платформа классифицирует видео, это требует много рабочей силы, отнимает много времени и средств, а эффективность категоризации видео низкая.
- Зрители хотят быстро уловить основные моменты игры при просмотре видеороликов о спортивных мероприятиях, но для создания основных моментов игры требуется рабочая сила для просмотра всей игры, выбора клипов и их редактирования, что отнимает много времени и труда.
- Когда пользователи проявляют интерес к определенной теме во время просмотра видео, рекомендация других похожих видео с высокой вероятностью будет соответствовать предпочтениям пользователя, что повышает качество просмотра.
Функции
- Отображение информации об игроке в реальном времени : зрители могут щелкнуть по игроку в видео, чтобы увидеть его имя, тактическую роль и исторические данные во всплывающем диалоговом окне без необходимости искать их самостоятельно.
- Быстрое понимание основных моментов игры . Используя технологию искусственного интеллекта, пользователи могут быстро понять основные моменты игры, сокращая время, затрачиваемое на поиск видео, и упрощая утомительный процесс поиска. ИИ может суммировать игровой контент и отмечать наиболее важные моменты, экономя компании затраты на найм студентов-заочников.
- Автоматическая категоризация . Используя технологию искусственного интеллекта, система автоматически классифицирует и помечает видео по различным категориям, что позволяет пользователям быстро находить похожие видео и улучшать качество просмотра.
- Рекомендации по видео : анализируя поведение пользователя при просмотре, ИИ рекомендует другие похожие видео на основе просматриваемого в данный момент видео, что облегчает пользователям поиск интересного контента и повышает качество просмотра.
Решения и инновации
- Синхронизация информации об игроках в реальном времени : использование визуальных моделей искусственного интеллекта для распознавания номеров на футболках игроков на поле в сочетании с технологией веб-сканирования и GenAI для обработки и агрегирования информации, создания исторических данных об игроках в реальном времени.
- Категоризация видео : использование модели встраивания текста OpenAI для преобразования видеоинформации в векторные представления и категоризация подобных видео с использованием алгоритма Kmeans. GenAI анализирует каждый набор категорий и присваивает соответствующее имя категории, обеспечивая автоматическую категоризацию видеотеки.
- Создание сводок видео : использование моделей GenAI для захвата видео-аудиоинформации, преобразования ее в текстовые файлы и обобщения информации с помощью GenAI для создания контуров видео и сводных клипов.
- Создание основных моментов видео : внедрение поиска по сгенерированному тексту сводки видео, сравнение его с общими ключевыми словами ключевых сегментов (например, «Гол!», «Счет~») и определение моментов времени захватывающих сегментов. Расширение временных точек до и после, а также использование модели NLTK для обрезки и объединения нескольких расширенных видеоклипов, обеспечивающих полный контекст клипов.
Результаты
- Дизайн домашней страницы : пользователи могут выбирать интересующие видео на главной странице. Нажав на видео, вы перейдете на другую страницу с тремя основными функциями:
- Воспроизведение видео и информация об игроке в режиме реального времени . Пользователи могут нажимать на интересующих игроков во время игры, и сразу же появляется диалоговое окно, отображающее имя игрока и информацию.
- Основные моменты : основные моменты игры отображаются под воспроизводимым видео, и пользователи могут нажимать на интересующие заголовки, чтобы просмотреть основные моменты.
- Рекомендуемые видео : на основе просматриваемого пользователем контента система рекомендует похожие видео, представляющие интерес.
- Строка меню и категоризация видео : на домашней странице есть строка меню, позволяющая пользователям просматривать видео по категориям, причем категории автоматически создаются искусственным интеллектом.
Как настроить
Предварительные условия
- Флаттер: https://docs.flutter.dev/get-started/install
Проект установки
git clone https://github.com/deeeelin/Gelaito4.git
- В папке проекта запустите
flutter run -d chrome --web-renderer html