meme search engine

Mesin Pencari Meme

Apakah Anda memiliki folder meme yang besar yang ingin Anda cari secara semantik? Apakah Anda memiliki server Linux dengan GPU Nvidia? Anda melakukannya; ini sekarang wajib.

Fitur

Mereka mengatakan sebuah gambar dapat mewakili ribuan kata. Sayangnya, banyak (sebagian besar?) kumpulan kata yang tidak dapat dijelaskan secara memadai melalui gambar. Terlepas dari itu, berikut adalah gambarnya. Anda dapat menggunakan instance yang sedang berjalan di sini.

• UI batu gulir tanpa batas untuk tampilan meme yang padat.
• Pengindeksan ulang online (alasan bagus untuk menggunakannya selama pengambilan klip) - memuat ulang meme tanpa langkah pembangunan kembali yang lambat dan mahal.
• Dukungan kueri kompleks - kueri menggunakan teks dan gambar, termasuk beberapa istilah sekaligus, dengan bobot (termasuk negatif).
• Cukup cepat.

Pengaturan

Ini belum teruji. Ini mungkin berhasil. Versi Rust yang baru menyederhanakan beberapa langkah (mengintegrasikan thumbnail-nya sendiri).

• Sajikan perpustakaan meme Anda dari server web statis.
  • Saya menggunakan nginx. Jika Anda sedang terburu-buru, Anda dapat menggunakan python -m http.server .
• Instal dependensi Python dengan pip dari requirements.txt (versinya mungkin tidak harus sama persis jika Anda perlu mengubahnya; saya hanya memasukkan apa yang telah saya instal saat ini).
  • Anda sekarang memerlukan versi transformers yang ditambal karena dukungan SigLIP. OpenCLIP mendukung SigLIP. Saya sekarang menggunakan itu.
  • Saya telah mengonversi satu model SigLIP: https://huggingface.co/gollark/siglip-so400m-14-384. Tampaknya itu yang terbaik. Jika Anda tidak menyukainya, cari tahu cara mengonversi lebih banyak. Anda perlu mengunduh repo itu. Anda dapat menggunakan model OpenCLIP apa pun yang didukung OpenCLIP.
• Jalankan thumbnailer.py (idealnya, secara berkala, bersamaan dengan pemuatan ulang indeks)
• Jalankan clip_server.py (sebagai layanan latar belakang).
  • Itu dikonfigurasi dengan file JSON yang diberikan sebagai argumen pertamanya. Contohnya ada di clip_server_config.json .
    • device mungkin seharusnya cuda atau cpu . Modelnya akan berjalan di sini.
    • model adalah model OpenCLIP yang akan digunakan jalur ke repositori model SigLIP.
    • model_name adalah nama model untuk tujuan metrik.
    • max_batch_size mengontrol ukuran batch maksimum yang diperbolehkan. Nilai yang lebih tinggi umumnya menghasilkan kinerja yang lebih baik (hambatan dalam banyak kasus ada di tempat lain saat ini) dengan mengorbankan penggunaan VRAM yang lebih tinggi.
    • port adalah port untuk menjalankan server HTTP.
• Bangun dan jalankan meme-search-engine (Rust) (juga sebagai layanan latar belakang).
  • Ini perlu diekspos di suatu tempat yang dapat dijangkau oleh frontend. Konfigurasikan proxy terbalik Anda dengan tepat.
  • Ini memiliki file konfigurasi JSON juga.
    • clip_server adalah URL lengkap untuk server backend.
    • db_path adalah jalur untuk database gambar SQLite dan penyematan vektor.
    • files adalah tempat file meme akan dibaca. Subdirektori diindeks.
    • port adalah port untuk melayani HTTP.
    • Jika Anda menerapkan ke set publik, enable_thumbs ke true untuk menyajikan gambar terkompresi.
• Bangun clipfront2, host di server web statis favorit Anda.
  • npm install , node src/build.js .
  • Anda perlu membangunnya kembali setiap kali Anda mengedit frontend_config.json .
    • image_path adalah URL dasar server web meme Anda (dengan garis miring).
    • backend_url adalah URL mse.py yang diekspos (garis miring mungkin opsional).
• Jika Anda mau, konfigurasikan Prometheus untuk memantau clip_server.py .

MemeThresher

Lihat di sini untuk informasi tentang MemeThresher, sistem perolehan/penilaian meme otomatis yang baru (di bawah meme-rater ). Menerapkannya sendiri diperkirakan agak rumit tetapi secara kasar dapat dilakukan:

1. Edit crawler.py dengan sumber Anda sendiri dan jalankan untuk mengumpulkan kumpulan data awal.
2. Jalankan mse.py dengan file konfigurasi seperti yang disediakan untuk mengindeksnya.
3. Gunakan rater_server.py untuk mengumpulkan kumpulan data awal yang berpasangan.
4. Salin ke server dengan GPU dan gunakan train.py untuk melatih model. Anda mungkin perlu menyesuaikan hyperparameter karena saya tidak tahu mana yang bagus.
5. Gunakan active_learning.py pada pos pemeriksaan terbaik yang tersedia untuk mendapatkan pasangan baru untuk dinilai.
6. Gunakan copy_into_queue.py untuk menyalin pasangan baru ke dalam antrian rater_server.py .
7. Nilai pasangan yang dihasilkan.
8. Ulangi langkah 4 hingga 7 sampai Anda merasa cukup puas dengan model Anda.
9. Terapkan library_processing_server.py dan jadwalkan meme_pipeline.py untuk dijalankan secara berkala.

Penskalaan

Mesin Pencari Meme menggunakan indeks FAISS dalam memori untuk menyimpan vektor penyematannya, karena saya malas dan berfungsi dengan baik (~total RAM 100MB digunakan untuk 8000 meme saya). Jika Anda ingin menyimpan lebih banyak dari itu, Anda harus beralih ke indeks yang lebih efisien/kompak (lihat di sini). Karena indeks vektor disimpan secara eksklusif di memori, Anda harus menyimpannya ke disk atau menggunakan indeks yang cepat untuk dibuat/dihapus dari/ditambahkan (mungkin indeks PCA/PQ). Pada titik tertentu jika Anda meningkatkan total lalu lintas, model CLIP juga dapat menjadi hambatan, karena saya juga tidak memiliki strategi batching. Pengindeksan saat ini terikat pada GPU karena model baru tampak agak lebih lambat pada ukuran batch tinggi dan saya meningkatkan jalur pemuatan gambar. Anda mungkin juga ingin memperkecil meme yang ditampilkan untuk mengurangi kebutuhan bandwidth.