SmartImageExtractionEcommerce

Извлечение изображений с сайтов электронной коммерции

Этот проект подчеркивает использование LLM и CHATGPT для эффективного побуждения для повышения точности извлечения изображений.

Примечание

Это постоянный исследовательский проект, поэтому код может быть не очень чистым.

Цель

Целью этого проекта является извлечение изображений продуктов со страниц продукта электронной коммерции, исключая не относящиеся к делу изображения, такие как логотипы или аналогичные изображения продукта. Это требует обработки различных языков и фильтрации на основе текстового контента.

Запланированные шаги

1. Начальная настройка

   • Отображение HTML чисто (покажите только имена тегов, текст и ссылки на изображения)
   • Извлеките все заголовки
   • Удалите нерелевантные метки (например, сценарий, заголовок, нижний колонтитул)

2. HTML Cleaning

   • Сохранить все изображения
   • Сохранить все заголовки
   • Удалить элементы без изображений или заголовков

3. Определение изображений продукта

   • OpenAI подход
     • Используйте OpenAI, чтобы определить класс изображений продукта:
       • Первый эксперимент: сжатие дерева, чтобы минимизировать токены, рекурсивно подавать API с очищенным текстом и вернуть ссылки на изображение как массив
       • Код реструктуризации: из ссылки на веб -сайт на BeautifulSoup обработку до быстрого генерации и извлечения ссылок и извлечения ссылок
       • Сохранить только важную информацию (ссылки на изображения, тексты заголовков, названия классов)
       • Удалить дубликаты (если класс + текст/ссылка аналогична предыдущей записи)
       • Избегайте партии, сохраняйте подсказки короткими
       • Исправить проблемы (например, источник изображения в атрибуте Data-Src на Jumia)
       • Проверка с другими сайтами электронной коммерции
       • Отклонить небольшие изображения (<70 пикселей)
       • Используйте заголовок и окружающий текст в приглашении
     • Подход на основе селена
       • Определите самое большое изображение, его класс и прилегающие изображения (рассмотрите CSS)
       • Интегрировать результаты в подсказку
     • Используйте Clawlbase для правильной загрузки веб -сайта
     • Отклонить изображения без того же родителя
     • Сравните алгоритмы OpenAI и непенаи для точности
       • Наблюдения:
         • Прямой проверки очищенных подсказок может быть достаточно без CHATGPT
         • Упрощенные подсказки могут непосредственно дать изображения
   • Дополнительный шаг : реализуйте классификацию изображений:
     • Различите между логотипами и изображениями продукта
     • Определите, принадлежат ли изображения продукта аналогичным или дополнительным продуктам

4. Последние шаги

   • Проверьте изображения в идентифицированных элементах