SmartImageExtractionEcommerce

Extraindo imagens de sites de comércio eletrônico

Este projeto enfatiza a aproveitando o LLMS e o ChatGPT para obter uma solicitação eficaz para aprimorar a precisão da extração da imagem.

Observação

Este é um projeto de pesquisa em andamento; portanto, o código pode não ser muito limpo.

Objetivo

O objetivo deste projeto é extrair imagens do produto das páginas de produtos de comércio eletrônico, excluindo imagens irrelevantes, como logotipos ou imagens de produtos similares. Isso requer lidar com vários idiomas e filtragem com base no conteúdo de texto.

Etapas planejadas

1. Configuração inicial

   • Exiba HTML de maneira limpa (mostre apenas nomes de tags, texto e links de imagem)
   • Extraia todos os cabeçalhos
   • Remova etiquetas irrelevantes (por exemplo, script, cabeçalho, rodapé)

2. Limpeza HTML

   • Mantenha todas as imagens
   • Mantenha todos os cabeçalhos
   • Excluir elementos sem imagens ou cabeçalhos

3. Identificando imagens do produto

   • Abordagem baseada em Openai
     • Use o OpenAI para identificar a classe de imagem do produto:
       • Primeiro experimento: comprime a árvore para minimizar os tokens, alimentar recursivamente a API com texto limpo e retornar links de imagem como uma matriz
       • Código de reestruturação: do link do site para o processamento do belo grupo para provar a geração e a extração de link
       • Reter apenas informações cruciais (links de imagem, textos de cabeçalho, nomes de classe)
       • Remova duplicatas (se a classe + texto/link for semelhante à entrada anterior)
       • Evite lotes, mantenha os avisos curtos
       • Corrigir problemas (por exemplo, fonte de imagem no atributo Data-SRC em Jumia)
       • Teste com outros sites de comércio eletrônico
       • Rejeitar imagens pequenas (<70 pixels)
       • Use o título e o texto circundante no prompt
     • Abordagem baseada em selênio
       • Identifique a maior imagem, sua classe e imagens adjacentes (considere CSS)
       • Integrar as descobertas no prompt
     • Use Crawlbase para carregamento adequado do site
     • Rejeitar imagens sem o mesmo pai div
     • Compare os algoritmos OpenAi e Openai
       • Observações:
         • A inspeção direta de avisos limpos pode ser suficiente sem chatgpt
         • Prompts simplificados podem produzir diretamente imagens
   • Etapa extra : Implemente a classificação da imagem para:
     • Diferenciar entre logotipos e imagens do produto
     • Determine se as imagens do produto pertencem a produtos semelhantes ou complementares

4. Etapas finais

   • Verifique as imagens dentro de elementos identificados