SmartImageExtractionEcommerce

Extrahieren von Bildern aus E -Commerce -Websites

Dieses Projekt betont die Nutzung von LLMs und ChatGPT , um eine effektive Aufforderung zur Verbesserung der Präzision der Bildextraktion zu verbessern.

Notiz

Dies ist ein laufendes Forschungsprojekt, daher ist der Code möglicherweise nicht sehr sauber.

Objektiv

Ziel dieses Projekts ist es, Produktbilder aus E-Commerce-Produktseiten zu extrahieren und gleichzeitig irrelevante Bilder wie Logos oder ähnliche Produktbilder auszuschließen. Dies erfordert den Umgang mit verschiedenen Sprachen und Filtern basierend auf Textinhalten.

Geplante Schritte

1. Erstes Setup

   • HTML sauber anzeigen (nur Tag -Namen, Text und Bildlinks anzeigen)
   • Alle Header extrahieren
   • Entfernen Sie irrelevante Tags (z. B. Skript, Header, Fußzeile)

2. HTML -Reinigung

   • Behalten alle Bilder
   • Bleiben Sie alle Header
   • Elemente ohne Bilder oder Header löschen

3. Produktbilder identifizieren

   • OpenAI-basierter Ansatz
     • Verwenden Sie OpenAI, um die Produktbildklasse zu identifizieren:
       • Erstes Experiment: Kompress den Baum, um Token zu minimieren, die API rekursiv mit gereinigtem Text zu füttern und Bildlinks als Array zurückzugeben
       • Umstrukturierung Code: Vom Website -Link zur BeautifulSoup -Verarbeitung bis zur Erzeugung und Link -Extraktion
       • Behalten nur wichtige Informationen (Bildlinks, Header -Texte, Klassennamen)
       • Entfernen Sie Duplikate (wenn Klasse + Text/Link dem vorherigen Eintrag ähnlich ist)
       • Vermeiden Sie das Chargen, halten Sie die Eingabeaufforderungen kurz
       • Probleme beheben (z. B. Bildquelle im Daten-SRC-Attribut auf Jumia)
       • Testen Sie mit anderen E-Commerce-Websites
       • Kleine Bilder ablehnen (<70 Pixel)
       • Verwenden Sie den Titel und den umgebenden Text in der Eingabeaufforderung
     • Seleniumbasierter Ansatz
       • Identifizieren Sie das größte Bild, seine Klasse und angrenzende Bilder (betrachten Sie CSS).
       • Integrieren Sie die Ergebnisse in die Eingabeaufforderung
     • Verwenden Sie Crawlbase für die ordnungsgemäße Website des Website
     • Bilder ohne das gleiche übergeordnete Div abweisen
     • Vergleichen Sie OpenAI- und Nicht-OpenAI-Algorithmen zur Präzision
       • Beobachtungen:
         • Direkte Inspektion von gereinigten Eingaben kann ohne Chatgpt ausreichen
         • Vereinfachte Eingabeaufforderungen können direkt Bilder ergeben
   • Zusätzlicher Schritt : Implementieren Sie die Bildklassifizierung auf:
     • Unterscheiden Sie zwischen Logos und Produktbildern
     • Stellen Sie fest, ob Produktbilder zu ähnlichen oder komplementären Produkten gehören

4. Letzte Schritte

   • Überprüfen Sie Bilder in identifizierten Elementen