SmartImageExtractionEcommerce

전자 상거래 사이트에서 이미지 추출

이 프로젝트는 이미지 추출 정밀도를 향상시키기위한 효과적인 프롬프트를 위해 LLM 및 Chatgpt 활용을 강조합니다.

메모

이것은 진행중인 연구 프로젝트이므로 코드는 그다지 깨끗하지 않을 수 있습니다.

목적

이 프로젝트의 목표는 로고 또는 유사한 제품 이미지와 같은 관련없는 이미지를 제외하면서 전자 상거래 제품 페이지에서 제품 이미지를 추출하는 것입니다. 이를 위해서는 텍스트 내용을 기반으로 다양한 언어를 처리하고 필터링해야합니다.

계획된 단계

1. 초기 설정

   • HTML을 깨끗하게 표시합니다 (태그 이름, 텍스트 및 이미지 링크 만 표시)
   • 모든 헤더를 추출하십시오
   • 관련없는 태그 제거 (예 : 스크립트, 헤더, 바닥 글)

2. HTML 청소

   • 모든 이미지를 유지하십시오
   • 모든 헤더를 유지하십시오
   • 이미지 나 헤더없이 요소를 삭제합니다

3. 제품 이미지 식별

   • Openai 기반 접근법
     • OpenAI를 사용하여 제품 이미지 클래스를 식별하십시오.
       • 첫 번째 실험 : 트리를 압박하여 토큰을 최소화하고, 청소 된 텍스트로 API에 재귀 적으로 공급하고, 이미지 링크를 배열로 반환합니다.
       • 코드 재구성 : 웹 사이트 링크에서 BeautifulSoup 처리, 프롬프트 생성 및 링크 추출에 이르기까지
       • 중요한 정보 만 유지합니다 (이미지 링크, 헤더 텍스트, 클래스 이름)
       • 복제 제거 (클래스 + 텍스트/링크가 이전 항목과 유사한 경우)
       • 배치를 피하고 프롬프트를 짧게 유지하십시오
       • 문제 수정 (예 : Jumia의 Data-SRC 속성의 이미지 소스)
       • 다른 전자 상거래 사이트에서 테스트하십시오
       • 작은 이미지 거부 (<70 픽셀)
       • 프롬프트에 제목과 주변 텍스트를 사용하십시오
     • 셀레늄 기반 접근법
       • 가장 큰 이미지, 클래스 및 인접한 이미지를 식별하십시오 (CSS 고려)
       • 결과를 프롬프트에 통합합니다
     • 적절한 웹 사이트로드를 위해 Crawlbase를 사용하십시오
     • 동일한 부모 Div없이 이미지를 거부하십시오
     • OpenAI 및 비 오페나이 알고리즘을 정밀도로 비교하십시오
       • 관찰 :
         • 청소 된 프롬프트를 직접 검사하면 chatgpt없이 충분할 수 있습니다
         • 단순화 된 프롬프트는 이미지를 직접 생성 할 수 있습니다
   • 추가 단계 : 이미지 분류 구현 :
     • 로고와 제품 이미지를 구별합니다
     • 제품 이미지가 유사하거나 보완 제품에 속하는지 확인

4. 최종 단계

   • 식별 된 요소 내에서 이미지를 확인하십시오