natural language youtube search

YouTube-Suche in natürlicher Sprache

Verwenden Sie das neuronale CLIP-Netzwerk von OpenAI, um in YouTube-Videos zu suchen. Sie können es ausprobieren, indem Sie das Notebook auf Google Colab ausführen.

Neu

• Integriert in Huggingface Spaces mit Gradio. Demo ansehen:

Wie es funktioniert

1. Laden Sie das YouTube-Video herunter
2. Extrahieren Sie jeden N-ten Frame
3. Kodieren Sie alle Frames mit CLIP
4. Codieren Sie eine Suchanfrage in natürlicher Sprache mit CLIP
5. Finden Sie die Bilder, die am besten zur Suchanfrage passen

Weitere Einzelheiten finden Sie im Notizbuch.

Beispiele

Hier sind einige Beispielsuchen aus diesem YouTube-Video eines Autos, das durch San Francisco fährt.

„Ein Feuerwehrauto“

„Straßenarbeiten“

„Menschen überqueren die Straße“

„Der Embarcadero“

„Warten an der roten Ampel“

„Grüner Radweg“

„Eine Straße mit Straßenbahnschienen“

„Die Transamerica-Pyramide“

Suche in natürlicher Sprache auf Unsplah

Sie können auch mein anderes Projekt ausprobieren, um mithilfe von Abfragen in natürlicher Sprache nach 2 Millionen Fotos auf Unsplash zu suchen:

Bildsuche in natürlicher Sprache