SmartImageExtractionEcommerce

Extraction d'images des sites de commerce électronique

Ce projet met l'accent sur le fait de tirer parti de LLMS et de Chatgpt pour une incitation efficace pour améliorer la précision d'extraction d'images.

Note

Il s'agit d'un projet de recherche en cours, donc le code peut ne pas être très propre.

Objectif

L'objectif de ce projet est d'extraire des images de produits des pages de produits du commerce électronique tout en excluant des images non pertinentes telles que des logos ou des images de produits similaires. Cela nécessite de gérer diverses langues et de filtrer en fonction du contenu texte.

Étapes planifiées

1. Configuration initiale

   • Afficher Cleanly HTML (afficher uniquement les noms de balises, le texte et les liens d'image)
   • Extraire tous les en-têtes
   • Supprimer les balises non pertinentes (par exemple, script, en-tête, pied de page)

2. Nettoyage HTML

   • Conserver toutes les images
   • Conserver tous les en-têtes
   • Supprimer des éléments sans images ni en-têtes

3. Identifier les images du produit

   • Approche basée sur l'Openai
     • Utilisez Openai pour identifier la classe d'image du produit:
       • Première expérience: comprimez l'arbre pour minimiser les jetons, nourrir récursivement l'API avec du texte nettoyé et retourner les liens d'image en tant que tableau
       • Code de restructuration: du lien du site Web vers le traitement de BeautifulSoup à une génération d'invite et à l'extraction des liens
       • Conserver uniquement les informations cruciales (liens d'image, textes d'en-tête, noms de classe)
       • Supprimer les doublons (si la classe + le texte / le lien est similaire à l'entrée précédente)
       • Évitez le lot, gardez les invites courtes
       • Correction des problèmes (par exemple, source d'image dans l'attribut Data-Src sur Jumia)
       • Tester avec d'autres sites de commerce électronique
       • Rejeter de petites images (<70 pixels)
       • Utilisez le titre et le texte environnant dans l'invite
     • Approche basée sur le sélénium
       • Identifiez la plus grande image, sa classe et les images adjacentes (considérez CSS)
       • Intégrer les résultats dans l'invite
     • Utilisez la base de la base pour le chargement du site Web approprié
     • Rejeter des images sans le même parent div
     • Comparez les algorithmes Openai et non openai pour la précision
       • Observations:
         • L'inspection directe des invites nettoyées peut suffire sans chatppt
         • Les invites simplifiées peuvent produire directement des images
   • Étape supplémentaire : implémentez la classification d'images à:
     • Différencier les logos et les images du produit
     • Déterminez si les images de produits appartiennent à des produits similaires ou complémentaires

4. Étapes finales

   • Vérifiez les images dans les éléments identifiés