Image Feature Extraction Using GenAI

Bildmerkmalsextraktion mit GenAI

Dieses Projekt implementiert eine fortschrittliche generative KI-Pipeline zum Extrahieren und Bewerten von Merkmalen aus Bildern. Es kombiniert die Leistungsfähigkeit von Florence-2, einem hochmodernen Vision-Sprachmodell, mit einer fein abgestimmten Version von Mistral-v3, einem hochmodernen großen Sprachmodell.

Hauptmerkmale

• Verwendet Florence-2, um detaillierte Bildbeschreibungen zu generieren
• Verwendet ein benutzerdefiniertes, fein abgestimmtes Mistral-v3-Modell zur Merkmalsextraktion und -bewertung
• Gibt Ergebnisse im JSON-Format aus, um eine einfache Integration mit anderen Anwendungen zu ermöglichen

Bildbeschreibungsgenerierung

• Modell: Florence-2
• Eingabe: Rohbilddaten
• Ausgabe: Umfassende Textbeschreibung des Bildes

Merkmalsextraktion und Bewertung

• Modell: Feinabgestimmter Mistral-v3
• Eingabe: Textbeschreibung aus Florence-2
• Ausgabe: JSON-Objekt mit extrahierten Features und ihren Bewertungen

Verwendung

Um dieses Projekt auszuführen, führen Sie die folgenden Schritte aus:

1. Laden Sie den Datensatz herunter
2. Führen Sie das Image-Scraping-Skript aus:

 python scrapeImages.py

Dadurch werden Bilder von Airbnb basierend auf dem Datensatz gescrapt.

3. Öffnen Sie das Jupyter-Notebook GenAI_Approach.ipynb und führen Sie es aus. Befolgen Sie die Anweisungen im Notizbuch, um die Bilder zu verarbeiten und Features zu extrahieren.

Wichtiger Hinweis: Stellen Sie sicher, dass Sie dieselben Datei- und Verzeichnisnamen verwenden, die in den Skripts angegeben sind, oder ändern Sie die Pfade im Code, um sie an Ihre Verzeichnisstruktur anzupassen.