natural language youtube search

Recherche YouTube en langage naturel

Utilisez le réseau neuronal CLIP d'OpenAI pour effectuer une recherche dans les vidéos YouTube. Vous pouvez l'essayer en exécutant le notebook sur Google Colab.

Nouveau

• Intégré aux Huggingface Spaces avec Gradio. Voir la démo :

Comment ça marche

1. Téléchargez la vidéo YouTube
2. Extraire chaque Nième image
3. Encodez toutes les images à l'aide de CLIP
4. Encoder une requête de recherche en langage naturel à l'aide de CLIP
5. Trouvez les images qui correspondent le mieux à la requête de recherche

Pour plus de détails, voir le cahier.

Exemples

Voici quelques exemples de recherches tirées de cette vidéo YouTube d'une voiture circulant dans San Francisco.

"Un camion de pompiers"

"Travaux routiers"

"Personnes traversant la rue"

"L'Embarcadère"

"Attendre au feu rouge"

"Piste cyclable verte"

"Une rue avec des voies de tramway"

"La Pyramide Transaméricaine"

Recherche en langage naturel sur Unsplah

Vous pouvez également essayer mon autre projet pour rechercher à partir de 2 millions de photos sur Unsplash à l'aide de requêtes en langage naturel :

Recherche d'images en langage naturel