rubrix

Mesin Pencari Visual Bertenaga AI

Motivasi utama di balik pembuatan rubrix adalah untuk memiliki mesin pencari visual yang sepenuhnya didukung oleh Kecerdasan Buatan, yang menggabungkan konsep-konsep dalam bidang Pemrosesan Bahasa Alami dan Visi Komputer, sesuatu yang kami sebut sebagai "pencarian kesamaan gabungan". Saat ini rubrix mempunyai dua fungsi utama:

• ambil masukan pengguna yang mendeskripsikan gambar dan ambil lima gambar yang sesuai dengan deskripsi itu (pencarian gambar)
• mengambil gambar yang diunggah pengguna dan mengambil lima gambar serupa (pencarian gambar terbalik)

Silakan klik di sini untuk mengetahui lebih detail tentang arsitektur dan cara kerja rubrix !

rubrix dalam Aksi

Anda dapat melihat beberapa gambar yang diambil oleh rubrix untuk contoh pertanyaan di sini.

Memulai

Bagian ini menjelaskan prasyarat, dan berisi instruksi, untuk menjalankan dan menjalankan proyek.

Pengaturan

1. Lingkungan Proyek

Saat ini, rubrix bekerja dengan sempurna di Linux, dan dapat dikonfigurasi dengan mudah menggunakan semua paket prasyarat dengan mengikuti petunjuk berikut:

1. Unduh versi conda yang sesuai untuk mesin Anda.

2. Instal dengan menjalankan file conda_install.sh , dengan perintah:

   $ bash conda_install.sh

3. Tambahkan conda ke profil bash:

   $ source ~ /.bashrc

4. Navigasikan ke rubrix/ (direktori tingkat atas) dan buat lingkungan virtual conda dengan file environment.yml yang disertakan menggunakan perintah berikut:

   $ conda env create -f environment.yml

5. Aktifkan lingkungan virtual dengan perintah berikut:

   $ conda activate rubrix

6. Untuk menginstal paket dengan tambahan setuptools, gunakan perintah berikut di rubrix/ (direktori tingkat atas) yang berisi file setup.py :

   $ pip install . 

2A. Aset Data - Pengaturan dari Awal

Setelah prasyarat diinstal, ikuti petunjuk berikut untuk membangun proyek:

1. Arahkan ke direktori rubrix/index .

2. Jalankan skrip bash setup.sh dengan perintah berikut:

   $ bash setup.sh

Apa fungsinya?

1. Mengunduh kumpulan data gambar/keterangan flickr8k.
2. Membangun dan menyiapkan darknet/ dalam rubrix/index untuk mengaktifkan deteksi objek dengan YOLOv4.
3. Membuat file assets/index.json , yang pada dasarnya adalah indeks gambar terbalik yang memetakan semua objek tempat YOLOv4 dilatih, ke gambar yang berisi objek tersebut.
4. Membuat file assets/imageEmbeddingLocations.json , yang pada dasarnya memetakan semua gambar dalam database ke vektor penyematan kalimat yang dihasilkan untuk setiap keterangan dalam database.
5. Menghasilkan vektor fitur yang mendeskripsikan semua gambar dalam database dan menyimpannya ke direktori assets/descriptors .

CATATAN: Skrip di atas memerlukan waktu antara 1,5 - 2 jam untuk menyelesaikan eksekusi.

2B. Aset Data - Pengaturan Cepat

1. Unduh aset data dari tautan ini.
2. Buka zip dan simpan isinya di rubrix/assets .
3. Yang tersisa hanyalah mengubah jalur di rubrix/assets/index.json dan rubrix/assets/imageEmbeddingLocations.json relatif terhadap mesin lokal. Hal ini dapat dilakukan sebagai berikut:
   • Pastikan lingkungan virtual yang sesuai aktif, atau aktifkan dengan perintah berikut:

     $ conda activate rubrix

   • Luncurkan Python Interpretor di terminal dan jalankan cuplikan kode berikut:

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. Arahkan ke direktori rubrix/rubrix/index dan jalankan skrip bash berikut:

   $ bash quick_setup.sh

Penggunaan

1. Sebagai satu paket

Dengan selesainya langkah-langkah ini, Anda seharusnya sudah bisa menggunakan rubrix .

• Untuk pencarian gambar, jalankan metode rubrix/query/query_by_text .
• Untuk pencarian gambar terbalik, jalankan metode rubrix/query/query_by_image_objects .

Anda juga dapat mengikuti contoh kerja untuk ini di sini.

2. Aplikasi Web Lokal

Alternatifnya adalah dengan menggunakan rubrix sebagai aplikasi pada web browser.

• Arahkan ke direktori rubrix/rubrix/web .
• Masukkan perintah berikut di terminal untuk meluncurkan aplikasi web:

  $ python app.py

3. Aplikasi Web yang di-docker

Ini untuk jika Anda ingin menerapkan rubrix di server misalnya server Linux Ubuntu di AWS

1. Arahkan ke direktori teratas
2. Masukkan perintah berikut untuk membuat image buruh pelabuhan:

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. Anda kemudian dapat menjalankan:

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

Pengaturan ideal untuk ini adalah memiliki pengaturan proxy terbalik Apache/Nginx pada sistem host, dalam hal ini menunjuk ke port 9000 , dan Apache/Nginx sistem host akan menangani SSL. Ini agar Anda dapat menerapkan aplikasi berulang kali tanpa khawatir membuat ulang sertifikat SSL.

Dockerfile tidak menggunakan file environment.yml karena menggunakan conda pada lingkungan produksi apa pun adalah mimpi buruk. Perubahan yang dilakukan di sana tidak akan tercermin dalam container Dockerized.

Pedoman Berkontribusi

Tidak ada pedoman khusus untuk berkontribusi, selain beberapa pedoman umum yang coba kami ikuti, seperti:

• Kode harus mengikuti standar PEP8 semaksimal mungkin
• Kami menggunakan dokumen Google-Style untuk mendokumentasikan modul Python dalam proyek ini.

Jika Anda melihat sesuatu yang dapat ditingkatkan, kirimkan permintaan penarikan! Kami selalu senang melihat perbaikan, untuk memastikan bahwa rubrix , sebagai sebuah proyek, adalah versi terbaiknya.

Jika menurut Anda sesuatu harus dilakukan secara berbeda (atau sekadar rusak), silakan buat masalah.

Lisensi

Lihat file LISENSI untuk lebih jelasnya.