natural language youtube search

Pesquisa em linguagem natural no YouTube

Use a rede neural CLIP da OpenAI para pesquisar vídeos do YouTube. Você pode experimentar executando o notebook no Google Colab.

Novo

• Integrado ao Huggingface Spaces com Gradio. Veja a demonstração:

Como funciona

1. Baixe o vídeo do YouTube
2. Extraia cada enésimo quadro
3. Codifique todos os frames usando CLIP
4. Codifique uma consulta de pesquisa em linguagem natural usando CLIP
5. Encontre as imagens que melhor correspondem à consulta de pesquisa

Para mais detalhes consulte o caderno.

Exemplos

Aqui estão alguns exemplos de pesquisas neste vídeo do YouTube de um carro dirigindo por São Francisco.

"Um caminhão de bombeiros"

"Obras rodoviárias"

"Pessoas atravessando a rua"

"O Embarcadero"

"Esperando no sinal vermelho"

"Ciclovia verde"

"Uma rua com trilhos de bonde"

"A Pirâmide Transamérica"

Pesquisa em linguagem natural no Unsplah

Você também pode tentar meu outro projeto para pesquisar 2 milhões de fotos no Unsplash usando consultas em linguagem natural:

Pesquisa de imagens em linguagem natural