natural language youtube search

Búsqueda de YouTube en lenguaje natural

Utilice la red neuronal CLIP de OpenAI para buscar dentro de videos de YouTube. Puedes probarlo ejecutando el cuaderno en Google Colab.

Nuevo

• Integrado a Huggingface Spaces con Gradio. Ver demostración:

como funciona

1. Descarga el vídeo de YouTube
2. Extrae cada enésimo fotograma
3. Codifica todos los fotogramas usando CLIP
4. Codifique una consulta de búsqueda en lenguaje natural usando CLIP
5. Encuentre las imágenes que mejor coincidan con la consulta de búsqueda.

Para más detalles ver el cuaderno.

Ejemplos

A continuación se muestran algunos ejemplos de búsquedas de este vídeo de YouTube de un automóvil conduciendo por San Francisco.

"Un camión de bomberos"

"Obras viales"

"Gente cruzando la calle"

"El Embarcadero"

"Esperando en el semáforo en rojo"

"Carril bici verde"

"Una calle con vías de tranvía"

"La Pirámide Transamérica"

Búsqueda de lenguaje natural en Unsplah

También puedes probar mi otro proyecto para buscar entre 2 millones de fotos en Unsplash usando consultas en lenguaje natural:

Búsqueda de imágenes en lenguaje natural