SmartImageExtractionEcommerce

Extraer imágenes de sitios de comercio electrónico

Este proyecto enfatiza el apalancamiento de LLMS y ChatGPT para obtener una solicitud efectiva para mejorar la precisión de la extracción de imágenes.

Nota

Este es un proyecto de investigación en curso, por lo que el código puede no estar muy limpio.

Objetivo

El objetivo de este proyecto es extraer imágenes de productos de páginas de productos de comercio electrónico al tiempo que excluye imágenes irrelevantes como logotipos o imágenes de productos similares. Esto requiere manejar varios idiomas y filtrarse según el contenido de texto.

Pasos planificados

1. Configuración inicial

   • Mostrar html limpiamente (mostrar solo nombres de etiquetas, texto y enlaces de imagen)
   • Extraer todos los encabezados
   • Eliminar etiquetas irrelevantes (por ejemplo, guión, encabezado, pie de página)

2. Limpieza HTML

   • Retener todas las imágenes
   • Retener todos los encabezados
   • Eliminar elementos sin imágenes o encabezados

3. Identificación de imágenes de productos

   • Enfoque con sede en Openai
     • Use OpenAI para identificar la clase de imagen del producto:
       • Primer experimento: comprime el árbol para minimizar los tokens, alimentar recursivamente la API con texto limpio y devolver los enlaces de imagen como una matriz
       • Código de reestructura: desde el enlace del sitio web hasta el procesamiento de BeautifulSoup hasta la generación de aviso y la extracción de enlaces
       • Conserve solo información crucial (enlaces de imagen, textos de encabezado, nombres de clases)
       • Eliminar duplicados (si la clase + texto/enlace es similar a la entrada anterior)
       • Evite los lotes, mantenga las indicaciones cortas
       • Arreglar problemas (por ejemplo, fuente de imagen en el atributo de datos de datos SRC en Jumia)
       • Prueba con otros sitios de comercio electrónico
       • Rechazar imágenes pequeñas (<70 píxeles)
       • Use el título y el texto circundante en el aviso
     • Enfoque basado en selenio
       • Identifique la imagen más grande, su clase e imágenes adyacentes (considere CSS)
       • Integre los hallazgos en el aviso
     • Use CrawlBase para la carga adecuada del sitio web
     • Rechazar imágenes sin el mismo padre Div
     • Compare algoritmos OpenAI y no openai para la precisión
       • Observaciones:
         • La inspección directa de las indicaciones limpias puede ser suficiente sin chatgpt
         • Las indicaciones simplificadas pueden producir imágenes directamente
   • Paso adicional : implementar la clasificación de imágenes para:
     • Diferenciar entre logotipos e imágenes de productos
     • Determine si las imágenes del producto pertenecen a productos similares o complementarios

4. Pasos finales

   • Verificar imágenes dentro de elementos identificados