SmartImageExtractionEcommerce

Mengekstraksi gambar dari situs eCommerce

Proyek ini menekankan memanfaatkan LLM dan chatgpt untuk meminta secara efektif untuk meningkatkan presisi ekstraksi gambar.

Catatan

Ini adalah proyek penelitian yang berkelanjutan, sehingga kode mungkin tidak terlalu bersih.

Tujuan

Tujuan dari proyek ini adalah untuk mengekstrak gambar produk dari halaman produk e-commerce sementara tidak termasuk gambar yang tidak relevan seperti logo atau gambar produk serupa. Ini membutuhkan penanganan berbagai bahasa dan penyaringan berdasarkan konten teks.

Langkah yang direncanakan

1. Pengaturan Awal

   • Tampilkan HTML Cleanly (hanya tampilkan nama tag, teks, dan tautan gambar)
   • Ekstrak semua header
   • Hapus tag yang tidak relevan (misalnya, skrip, header, footer)

2. Pembersihan HTML

   • Mempertahankan semua gambar
   • Mempertahankan semua header
   • Hapus elemen tanpa gambar atau header

3. Mengidentifikasi gambar produk

   • Pendekatan berbasis openai
     • Gunakan OpenAi untuk mengidentifikasi kelas gambar produk:
       • Eksperimen Pertama: Kompres pohon untuk meminimalkan token, memberi makan API secara rekursif dengan teks yang dibersihkan, dan mengembalikan tautan gambar sebagai array
       • Kode Restrukturisasi: Dari tautan situs web ke pemrosesan indah ke pembuatan prompt dan tautan ekstraksi
       • Hanya mempertahankan informasi penting (tautan gambar, teks header, nama kelas)
       • Hapus duplikat (jika kelas + teks/tautan mirip dengan entri sebelumnya)
       • Hindari batching, pertikahkan kependekan dari
       • Perbaiki masalah (misalnya, sumber gambar dalam atribut data-src di Jumia)
       • Uji dengan situs e-commerce lainnya
       • Tolak gambar kecil (<70 piksel)
       • Gunakan judul dan teks sekitarnya di prompt
     • Pendekatan berbasis selenium
       • Identifikasi gambar terbesar, kelasnya, dan gambar yang berdekatan (pertimbangkan CSS)
       • Mengintegrasikan temuan ke dalam prompt
     • Gunakan crawlbase untuk pemuatan situs web yang tepat
     • Tolak gambar tanpa div induk yang sama
     • Bandingkan algoritma openai dan non-openai untuk presisi
       • Pengamatan:
         • Pemeriksaan langsung dari prompt yang dibersihkan mungkin cukup tanpa chatgpt
         • Prompt yang disederhanakan mungkin secara langsung menghasilkan gambar
   • Langkah Ekstra : Menerapkan Klasifikasi Gambar ke:
     • Bedakan antara logo dan gambar produk
     • Tentukan apakah gambar produk termasuk produk yang serupa atau komplementer

4. Langkah Akhir

   • Verifikasi gambar dalam elemen yang diidentifikasi