meme search engine

เครื่องมือค้นหามีม

คุณมีโฟลเดอร์มส์ขนาดใหญ่ที่คุณต้องการค้นหาตามความหมายหรือไม่? คุณมีเซิร์ฟเวอร์ Linux ที่มี Nvidia GPU หรือไม่? คุณทำ; นี่เป็นข้อบังคับแล้ว

คุณสมบัติ

ว่ากันว่าภาพหนึ่งภาพแทนคำพูดได้นับพันคำ น่าเสียดายที่ชุดคำศัพท์หลายชุด (ส่วนใหญ่?) ไม่สามารถอธิบายด้วยรูปภาพได้เพียงพอ ยังไงก็ตามนี่คือรูปภาพ คุณสามารถใช้อินสแตนซ์ที่ทำงานอยู่ได้ที่นี่

• UI การก่ออิฐแบบเลื่อนไม่สิ้นสุดสำหรับการดูมีมหนาแน่น
• การทำดัชนีออนไลน์ใหม่ (เป็นเหตุผลที่ดีที่จะใช้ผ่านการดึงคลิป) - โหลดมส์ซ้ำโดยไม่ต้องสร้างขั้นตอนสร้างใหม่ราคาแพงช้า
• รองรับการสืบค้นที่ซับซ้อน - การสืบค้นโดยใช้ข้อความและรูปภาพ รวมถึงคำหลายคำพร้อมกัน พร้อมการให้น้ำหนัก (รวมถึงค่าลบ)
• รวดเร็วพอสมควร.

ตั้งค่า

สิ่งนี้ยังไม่ผ่านการทดสอบ มันอาจจะได้ผล เวอร์ชัน Rust ใหม่ทำให้บางขั้นตอนง่ายขึ้น (รวมภาพขนาดย่อของตัวเองไว้ด้วย)

• ให้บริการไลบรารี meme ของคุณจากเว็บเซิร์ฟเวอร์แบบคงที่
  • ผมใช้ nginx. หากคุณรีบร้อน คุณสามารถใช้ python -m http.server ได้
• ติดตั้งการพึ่งพา Python ด้วย pip จาก requirements.txt (เวอร์ชันอาจไม่จำเป็นต้องตรงกันทุกประการหากคุณต้องการเปลี่ยนแปลง ฉันเพิ่งใส่สิ่งที่ฉันติดตั้งไว้ในปัจจุบัน)
  • ตอนนี้คุณต้องมี transformers แพตช์เนื่องจากการรองรับ SigLIP OpenCLIP รองรับ SigLIP ตอนนี้ฉันกำลังใช้สิ่งนั้นอยู่
  • ฉันได้แปลงโมเดล SigLIP หนึ่งรุ่นแล้ว: https://huggingface.co/gollark/siglip-so400m-14-384 เห็นได้ชัดว่ามันดีที่สุด หากคุณไม่ชอบ เรียนรู้วิธีการแปลงเพิ่มเติม คุณต้องดาวน์โหลด repo นั้น คุณสามารถใช้ OpenCLIP รุ่นใดก็ได้ที่ OpenCLIP รองรับ
• เรียกใช้ thumbnailer.py (ตามอุดมคติแล้ว ในเวลาเดียวกันกับการโหลดดัชนีใหม่)
• เรียกใช้ clip_server.py (เป็นบริการพื้นหลัง)
  • มีการกำหนดค่าด้วยไฟล์ JSON ที่กำหนดให้เป็นอาร์กิวเมนต์แรก ตัวอย่างอยู่ใน clip_server_config.json
    • device ควรจะเป็น cuda หรือ cpu โมเดลจะทำงานที่นี่
    • model คือ รูปแบบ OpenCLIP ที่จะใช้ เส้นทางไปยังที่เก็บโมเดล SigLIP
    • model_name คือชื่อของโมเดลเพื่อวัตถุประสงค์ด้านเมตริก
    • max_batch_size ควบคุมขนาดแบตช์สูงสุดที่อนุญาต โดยทั่วไปค่าที่สูงกว่าจะส่งผลให้ประสิทธิภาพค่อนข้างดีขึ้น (โดยส่วนใหญ่แล้วปัญหาคอขวดจะอยู่ที่อื่นในขณะนี้) โดยมีค่าใช้จ่ายในการใช้ VRAM ที่สูงขึ้น
    • port คือพอร์ตที่ใช้รันเซิร์ฟเวอร์ HTTP
• สร้างและเรียกใช้ meme-search-engine (Rust) (รวมถึงบริการพื้นหลังด้วย)
  • สิ่งนี้จะต้องแสดงที่ไหนสักแห่งที่ส่วนหน้าสามารถเข้าถึงได้ กำหนดค่าพร็อกซีย้อนกลับของคุณอย่างเหมาะสม
  • มีไฟล์กำหนดค่า JSON ด้วยเช่นกัน
    • clip_server คือ URL แบบเต็มสำหรับเซิร์ฟเวอร์ส่วนหลัง
    • db_path เป็นเส้นทางสำหรับฐานข้อมูล SQLite ของรูปภาพและเวกเตอร์ที่ฝัง
    • files เป็นที่ที่ไฟล์ meme จะถูกอ่าน ไดเรกทอรีย่อยได้รับการจัดทำดัชนี
    • port คือพอร์ตสำหรับให้บริการ HTTP
    • หากคุณกำลังปรับใช้กับสาธารณะ ให้ตั้ง enable_thumbs เป็น true เพื่อให้บริการอิมเมจที่บีบอัด
• สร้าง clipfront2 โฮสต์บนเว็บเซิร์ฟเวอร์คงที่ที่คุณชื่นชอบ
  • npm install , node src/build.js
  • คุณจะต้องสร้างมันใหม่ทุกครั้งที่คุณแก้ไข frontend_config.json
    • image_path เป็น URL พื้นฐานของเว็บเซิร์ฟเวอร์ meme ของคุณ (มีเครื่องหมายทับต่อท้าย)
    • backend_url คือ URL ที่ mse.py ถูกเปิดเผย (เครื่องหมายสแลชต่อท้ายอาจเป็นทางเลือก)
• หากคุณต้องการ ให้กำหนดค่า Prometheus เพื่อมอนิเตอร์ clip_server.py

มีมเทรเชอร์

ดูที่นี่สำหรับข้อมูลเกี่ยวกับ MemeThresher ซึ่งเป็นระบบการรับ/ให้คะแนน meme อัตโนมัติใหม่ (ภายใต้ meme-rater ) การปรับใช้ด้วยตนเองคาดว่าจะค่อนข้างยุ่งยาก แต่น่าจะทำได้โดยประมาณ:

1. แก้ไข crawler.py ด้วยแหล่งที่มาของคุณเอง และเรียกใช้เพื่อรวบรวมชุดข้อมูลเริ่มต้น
2. เรียกใช้ mse.py ด้วยไฟล์กำหนดค่าเช่นเดียวกับไฟล์ที่ให้มาเพื่อสร้างดัชนี
3. ใช้ rater_server.py เพื่อรวบรวมชุดข้อมูลเริ่มต้นของคู่
4. คัดลอกไปยังเซิร์ฟเวอร์ที่มี GPU และใช้ train.py เพื่อฝึกโมเดล คุณอาจต้องปรับไฮเปอร์พารามิเตอร์เนื่องจากฉันไม่รู้ว่าอันไหนดี
5. ใช้ active_learning.py บนจุดตรวจสอบที่ดีที่สุดที่มีอยู่เพื่อรับคู่ใหม่เพื่อให้คะแนน
6. ใช้ copy_into_queue.py เพื่อคัดลอกคู่ใหม่ลงในคิว rater_server.py
7. ให้คะแนนคู่ผลลัพธ์
8. ทำซ้ำ 4 ถึง 7 จนกว่าคุณจะรู้สึกดีกับโมเดลของคุณเพียงพอ
9. ปรับใช้ library_processing_server.py และกำหนดเวลา meme_pipeline.py ให้ทำงานเป็นระยะ

การปรับขนาด

Meme Search Engine ใช้ดัชนี FAISS ในหน่วยความจำเพื่อเก็บเวกเตอร์ที่ฝังไว้ เนื่องจากฉันขี้เกียจและทำงานได้ดี (RAM ทั้งหมดประมาณ 100MB ที่ใช้สำหรับ 8000 มีมของฉัน) หากคุณต้องการจัดเก็บมากกว่านั้น คุณจะต้องเปลี่ยนไปใช้ดัชนีที่มีประสิทธิภาพ/กะทัดรัดมากขึ้น (ดูที่นี่) เนื่องจากดัชนีเวกเตอร์ถูกเก็บไว้ในหน่วยความจำโดยเฉพาะ คุณจะต้องเก็บดัชนีเหล่านั้นไว้ในดิสก์หรือใช้ดัชนีที่สร้าง/ลบออกจาก/เพิ่มอย่างรวดเร็ว (สันนิษฐานว่าเป็นดัชนี PCA/PQ) ในบางจุด หากคุณเพิ่มการเข้าชมทั้งหมด โมเดล CLIP ก็อาจกลายเป็นคอขวดได้เช่นกัน เนื่องจากฉันไม่มีกลยุทธ์แบบแบตช์เช่นกัน ขณะนี้การจัดทำดัชนีเกี่ยวข้องกับ GPU เนื่องจากรุ่นใหม่จะปรากฏช้าลงเล็กน้อยเมื่อมีขนาดแบตช์สูง และฉันได้ปรับปรุงไปป์ไลน์การโหลดรูปภาพ คุณอาจต้องการลดขนาดมส์ที่แสดงเพื่อลดความต้องการแบนด์วิธ