SmartImageExtractionEcommerce

การแยกภาพจากเว็บไซต์อีคอมเมิร์ซ

โครงการนี้เน้นการใช้ประโยชน์จาก LLMS และ CHATGPT เพื่อให้การแจ้งเตือนที่มีประสิทธิภาพเพื่อเพิ่มความแม่นยำในการสกัดภาพ

บันทึก

นี่เป็นโครงการวิจัยอย่างต่อเนื่องดังนั้นรหัสอาจไม่สะอาดมาก

วัตถุประสงค์

เป้าหมายของโครงการนี้คือการดึงภาพผลิตภัณฑ์ออกจากหน้าผลิตภัณฑ์อีคอมเมิร์ซในขณะที่ไม่รวมภาพที่ไม่เกี่ยวข้องเช่นโลโก้หรือภาพผลิตภัณฑ์ที่คล้ายกัน สิ่งนี้ต้องการการจัดการภาษาต่าง ๆ และการกรองตามเนื้อหาข้อความ

ขั้นตอนที่วางแผนไว้

1. การตั้งค่าเริ่มต้น

   • แสดง HTML อย่างหมดจด (แสดงเฉพาะชื่อแท็กข้อความและลิงก์ภาพ)
   • แยกส่วนหัวทั้งหมด
   • ลบแท็กที่ไม่เกี่ยวข้อง (เช่นสคริปต์ส่วนหัวส่วนท้าย)

2. การทำความสะอาด HTML

   • รักษาภาพทั้งหมด
   • รักษาส่วนหัวทั้งหมดไว้
   • ลบองค์ประกอบโดยไม่มีภาพหรือส่วนหัว

3. การระบุภาพผลิตภัณฑ์

   • วิธีการที่ใช้ OpenAI
     • ใช้ OpenAI เพื่อระบุคลาสภาพผลิตภัณฑ์:
       • การทดลองครั้งแรก: บีบอัดต้นไม้เพื่อลดโทเค็นให้อาหาร API ซ้ำด้วยข้อความที่ทำความสะอาดและกลับลิงก์ภาพเป็นอาร์เรย์
       • การปรับโครงสร้างรหัส: จากลิงค์เว็บไซต์ไปจนถึงการประมวลผลที่สวยงามไปจนถึงการสร้างการสร้างและการแยกลิงค์
       • เก็บข้อมูลที่สำคัญเท่านั้น (ลิงก์ภาพข้อความส่วนหัวชื่อคลาส)
       • ลบซ้ำ (ถ้าคลาส + ข้อความ/ลิงก์คล้ายกับรายการก่อนหน้า)
       • หลีกเลี่ยงการแบตช์ให้แจ้งให้สั้น
       • แก้ไขปัญหา (เช่นแหล่งรูปภาพในแอตทริบิวต์ Data-SRC บน Jumia)
       • ทดสอบกับเว็บไซต์อีคอมเมิร์ซอื่น ๆ
       • ปฏิเสธภาพขนาดเล็ก (<70 พิกเซล)
       • ใช้ชื่อเรื่องและข้อความโดยรอบในพรอมต์
     • วิธีการตามซีลีเนียม
       • ระบุภาพที่ใหญ่ที่สุดคลาสและภาพที่อยู่ติดกัน (พิจารณา CSS)
       • รวมการค้นพบในพรอมต์
     • ใช้ฐานรวบรวมข้อมูลสำหรับการโหลดเว็บไซต์ที่เหมาะสม
     • ปฏิเสธรูปภาพโดยไม่ต้องมี div พ่อแม่เดียวกัน
     • เปรียบเทียบอัลกอริทึม OpenAI และ Non-Openai เพื่อความแม่นยำ
       • ข้อสังเกต:
         • การตรวจสอบโดยตรงของพรอมต์ที่ทำความสะอาดอาจพอเพียงโดยไม่ต้องพูดคุยกัน
         • พรอมต์ที่เรียบง่ายอาจให้ภาพโดยตรง
   • ขั้นตอนพิเศษ : ใช้การจำแนกรูปภาพเป็น:
     • แยกความแตกต่างระหว่างโลโก้และภาพผลิตภัณฑ์
     • ตรวจสอบว่าภาพผลิตภัณฑ์เป็นของผลิตภัณฑ์ที่คล้ายกันหรือเสริม

4. ขั้นตอนสุดท้าย

   • ตรวจสอบภาพภายในองค์ประกอบที่ระบุ