Image Feature Extraction Using GenAI

Extraction de caractéristiques d'images à l'aide de GenAI

Ce projet implémente un pipeline d'IA générative avancé pour extraire et évaluer les fonctionnalités des images. Il combine la puissance de Florence-2, un modèle de langage de vision de pointe, avec une version affinée de Mistral-v3, un grand modèle de langage de pointe.

Principales fonctionnalités

• Utilise Florence-2 pour générer des descriptions d'images détaillées
• Utilise un modèle Mistral-v3 personnalisé et affiné pour l'extraction et la notation des fonctionnalités
• Produit les résultats au format JSON pour une intégration facile avec d'autres applications

Génération de description d'image

• Modèle : Florence-2
• Entrée : données d'image brutes
• Résultat : description textuelle complète de l'image

Extraction et évaluation des fonctionnalités

• Modèle : Mistral-v3 affiné
• Entrée : Description textuelle de Florence-2
• Sortie : objet JSON contenant les fonctionnalités extraites et leurs scores

Usage

Pour exécuter ce projet, procédez comme suit :

1. Téléchargez l'ensemble de données
2. Exécutez le script de récupération d'image :

 python scrapeImages.py

Cela supprimera les images d'Airbnb en fonction de l'ensemble de données.

3. Ouvrez et exécutez le notebook Jupyter GenAI_Approach.ipynb . Suivez les instructions du bloc-notes pour traiter les images et extraire les fonctionnalités.

Remarque importante : assurez-vous d'utiliser les mêmes noms de fichiers et de répertoires que ceux spécifiés dans les scripts, ou modifiez les chemins dans le code pour qu'ils correspondent à votre structure de répertoires.