natural language youtube search

自然言語 YouTube 検索

OpenAI の CLIP ニューラル ネットワークを使用して、YouTube ビデオ内を検索します。 Google Colab でノートブックを実行して試すことができます。

新しい

• Gradio を使用して Huggingface Spaces に統合されました。デモを参照してください:

仕組み

1. YouTube ビデオをダウンロードする
2. N 番目のフレームごとに抽出する
3. CLIP を使用してすべてのフレームをエンコードする
4. CLIP を使用して自然言語検索クエリをエンコードする
5. 検索クエリに最もよく一致する画像を見つけます

詳細についてはノートを参照してください。

例

サンフランシスコ周辺を走行する車の YouTube 動画からの検索例をいくつか示します。

「消防車」

「道路工事」

「道を渡る人たち」

「エンバカデロ」

「赤信号で待っている」

「緑の自転車レーン」

「路面電車の線路のある通り」

「トランスアメリカ・ピラミッド」

Unsplah での自然言語検索

自然言語クエリを使用して Unsplash 上の 200 万枚の写真から検索する私の他のプロジェクトを試すこともできます。

自然言語画像検索