Gelaito4: 협업 컴퓨터 비전과 생성 AI로 구동되는 스포츠 미디어 플랫폼
소개
- Gelaito4는 실시간 선수 정보, 자동 비디오 분류 및 개인화된 비디오 추천을 제공하여 스포츠 이벤트의 시청 경험을 향상시키도록 설계된 애플리케이션 프로토타입입니다.
데모
동기 부여
- 스포츠 경기 동영상을 시청할 때 시청자는 선수의 이름이나 관련 데이터를 빨리 알고 싶어하지만 온라인에서 검색할 때 모호한 유니폼 번호나 선수 특성에만 의존할 수밖에 없는 경우가 많습니다. 이를 위해서는 비디오를 일시 중지하고 흥미로운 순간을 놓쳐야 할 뿐만 아니라 정보를 찾는 데 많은 시간이 소요됩니다.
- 사용자는 많은 수의 스포츠 이벤트 비디오를 시청할 때 비디오 콘텐츠를 수동으로 분류하고 태그를 지정하는 데 많은 시간을 소비하는 경우가 많으며 이는 지루하고 시간 소모적입니다. 플랫폼이 영상을 분류하는 경우 많은 인력이 필요하고, 시간과 비용이 많이 들고, 영상 분류의 효율성이 낮다.
- 시청자들은 스포츠 경기 영상을 볼 때 경기의 하이라이트를 빠르게 파악하고 싶어하지만, 경기의 하이라이트를 만들기 위해서는 경기 전체를 시청하고 클립을 선택하고 편집하는 인력이 필요하기 때문에 시간과 노력이 많이 든다.
- 사용자가 동영상을 시청하면서 특정 주제에 대한 관심을 표현하면 유사한 다른 동영상을 추천하는 것이 사용자의 선호도와 일치할 확률이 높아 시청 경험이 향상됩니다.
특징
- 실시간 선수 정보 표시 : 시청자가 영상 속 선수를 클릭하면 직접 검색할 필요 없이 선수 이름, 전술 역할, 과거 데이터를 팝업 대화 상자에서 확인할 수 있습니다.
- 게임 하이라이트를 빠르게 파악 : AI 기술을 사용하여 사용자는 게임의 하이라이트를 빠르게 파악하여 비디오 검색에 소요되는 시간을 줄이고 지루한 검색 과정을 단순화할 수 있습니다. AI는 게임 콘텐츠를 요약하고 핫스팟과 하이라이트를 표시하여 회사가 시간제 학생을 고용하는 비용을 절약할 수 있습니다.
- 자동 분류 : 시스템은 AI 기술을 사용하여 다양한 카테고리에 따라 동영상을 자동으로 분류하고 태그를 지정하므로 사용자가 관련 동영상을 빠르게 찾고 시청 경험을 향상시킬 수 있습니다.
- 영상 추천 : AI가 사용자의 시청 행태를 분석해 현재 시청 중인 영상을 바탕으로 유사한 다른 영상을 추천해 사용자가 보다 쉽게 흥미로운 콘텐츠를 발견하고 시청 경험을 향상시킬 수 있습니다.
솔루션과 혁신
- 실시간 선수 정보 동기화 : AI 시각적 모델을 사용하여 현장에서 선수 유니폼 번호를 인식하고 웹 크롤링 기술 및 GenAI를 결합하여 정보를 처리 및 집계하여 선수의 실시간 및 기록 데이터를 생성합니다.
- 비디오 분류 : OpenAI의 텍스트 임베딩 모델을 사용하여 비디오 정보를 벡터 표현으로 변환하고 Kmeans 알고리즘을 사용하여 유사한 비디오를 분류합니다. GenAI는 각 카테고리 세트를 분석하고 적절한 카테고리 이름을 할당하여 자동화된 비디오 라이브러리 분류를 달성합니다.
- 비디오 요약 생성 : GenAI 모델을 사용하여 비디오 오디오 정보를 캡처하고, 이를 텍스트 파일로 변환하고, GenAI로 정보를 요약하여 비디오 개요 및 요약 클립을 생성합니다.
- 영상 하이라이트 생성 : 생성된 영상 요약 텍스트 검색을 내장하고, 핵심 구간의 공통 키워드(예: "골!", "점수~")와 비교하여 흥미진진한 구간의 시점을 파악합니다. 이전과 이후의 시점을 확장하고 NLTK 모델을 사용하여 확장된 여러 비디오 클립을 다듬고 병합하여 클립에 완전한 컨텍스트가 있는지 확인합니다.
결과물
- 홈페이지 디자인 : 사용자는 홈페이지에서 관심 있는 동영상을 선택할 수 있습니다. 비디오를 클릭하면 세 가지 주요 기능이 있는 다른 페이지로 이동합니다:
- 영상 재생 및 실시간 플레이어 정보 : 게임 중 관심 있는 플레이어를 클릭하면 해당 플레이어의 이름과 정보를 표시하는 대화 상자가 즉시 나타납니다.
- 하이라이트 : 영상 재생 하단에 경기 하이라이트가 표시되며, 관심 있는 타이틀을 클릭하면 하이라이트를 시청할 수 있습니다.
- 추천 동영상 : 사용자가 시청한 콘텐츠를 바탕으로 관심 있는 관련 동영상을 추천해 드립니다.
- 메뉴바 및 영상 분류 : 홈페이지에는 사용자가 영상을 카테고리별로 탐색할 수 있는 메뉴바가 있으며, 카테고리는 AI에 의해 자동 생성됩니다.
설정 방법
전제조건
- 플러터: https://docs.flutter.dev/get-started/install
프로젝트 설정
git clone https://github.com/deeeelin/Gelaito4.git
- 프로젝트 폴더에서
flutter run -d chrome --web-renderer html 실행하세요.
