natural language youtube search

자연어 YouTube 검색

OpenAI의 CLIP 신경망을 사용하여 YouTube 동영상 내부를 검색하세요. Google Colab에서 노트북을 실행하여 사용해 볼 수 있습니다.

새로운

• Gradio를 사용하여 Huggingface Spaces에 통합되었습니다. 데모 보기:

작동 원리

1. 유튜브 비디오 다운로드
2. N번째 프레임마다 추출
3. CLIP을 사용하여 모든 프레임을 인코딩
4. CLIP을 사용하여 자연어 검색 쿼리 인코딩
5. 검색어와 가장 일치하는 이미지를 찾으세요

자세한 내용은 노트북을 참조하세요.

예

다음은 샌프란시스코 주변을 운전하는 자동차에 대한 YouTube 동영상의 검색 예입니다.

"소방차"

"도로공사"

"길을 건너는 사람들"

"엠바카데로"

"빨간불을 기다려요"

"녹색자전거도로"

"트램 선로가 있는 거리"

'트랜스아메리카 피라미드'

Unsplah의 자연어 검색

자연어 쿼리를 사용하여 Unsplash에 있는 200만 장의 사진을 검색하는 다른 프로젝트를 시도해 볼 수도 있습니다.

자연어 이미지 검색