searchzin

Pencarianzin

Implementasi mesin pencari sederhana.

Motivasi

Tujuan studi, sebagian besar untuk memahami rincian implementasi tentang bagaimana mesin pencari dibuat, trade-off kinerja dan strukturnya.

Keterangan

Idenya adalah membuat aplikasi isomorfik dari UI ke sistem database.

Penggunaan

Aplikasi dapat disebarkan menggunakan buruh pelabuhan atau biner yang dirilis di github.

 ./searchzin -c <path-to-config>.yml

Setelah itu Anda bisa melihat ke http://localhost:8080 untuk melihat halaman pencarian.

Konfigurasi

Konfigurasi dapat dilakukan dengan file konfigurasi yang secara default terletak di /etc/searchzin/config.yml , atau dengan menyediakan kunci konfigurasi dalam bentuk -C key=value , bentuk kedua menggantikan yang pertama.

Default konfigurasi:

 port : 8080 # Service port
path :
  log : /var/log/searchzin # Log directory
  data : /var/lib/searchzin # Data directory 

Perkembangan

Semua struktur proyek dibuat di golang, menggunakan kerangka gin .

Dependensi dikelola menggunakan dep .

Sebagian besar rantai alat proyek dikelola oleh Makefile , target pentingnya adalah:

• install : Instal dependensi yang diperlukan dan git hooks
• readme : Melakukan penyertaan file README.md
• lint : Melakukan linting dan memformat kode
• test : Ya, kompilasi dan jalankan pengujian unit
• build : Membuat folder distribusi linux di dist
• run : Menjalankan kode menggunakan go run
• run-dev : Membuat dan menjalankan kontainer buruh pelabuhan
• release : Membuat gambar buruh pelabuhan rilis
• publish : Menerbitkan gambar buruh pelabuhan di dockerhub menggunakan konten file VERSION sebagai versinya
• publish-latest : Memublikasikan gambar buruh pelabuhan di dockerhub dengan tag latest
• ( TODO ) watch : Melakukan lint dan test modifikasi file
• ( TODO ) func-test : Melakukan tes fungsional di dalam folder features

Arsitektur

Ada 6 komponen utama mesin pencari ini:

• Basis data dokumen
• Basis data indeks
• Layanan pengindeksan
• Pelaksana kueri
• Perencana kueri
• Pengurai kueri

Setiap komponen memiliki tanggung jawab yang jelas dalam sistem, dan semuanya bekerja sama untuk merespons pertanyaan dan permintaan pengindeksan dokumen.

Basis Data Dokumen

Bertanggung jawab untuk menyimpan dan memberikan id pada dokumen yang baru dibuat. Kendalanya adalah:

• Menyimpan dokumen dan id mereka
• Memungkinkan pembuatan id tanpa tabrakan untuk persistensi
• Algoritme penyimpanan dokumen yang efektif, dioptimalkan untuk membaca cepat dan menulis cukup cepat
• Sadar akan unit penyimpanan yang mendasarinya, baik itu ssd atau hdd
• Sadar akan ukuran halaman linux dan strategi caching file

Basis data indeks

Menyimpan indeks terbalik dari "istilah" dan dokumen

• Menyimpan terms untuk mendokumentasikan relasi himpunan
• Aktifkan strategi manipulasi key untuk kueri dengan perkiraan kata kunci
• Dioptimalkan untuk kunci kepadatan rendah dengan banyak dokumen
• Sadar akan ukuran halaman linux yang mendasarinya agar mudah dimasukkan dan dimuat ke dalam memori

Layanan pengindeksan

Mengingat dokumen baru memahaminya dan menyimpannya di database indeks dan database dokumen.

• Mengetahui bidang mana yang diindeks dan bagaimana caranya
• Mengetahui struktur dokumen dan dapat menghubungkannya dengan indeks

Pengurai kueri

Mengurai masukan pengguna dan mengubahnya menjadi rencana kueri menggunakan struktur data seperti pohon.

• Mengurai string yang diberikan oleh pengguna dan mengubahnya menjadi grafik
• DSL akan mirip dengan lucene
• Dukungan untuk kueri ANSI SQL
• Dukungan untuk pencarian kunci dokumen

Perencana kueri

Dengan adanya pohon kueri, optimalkan dengan memperhatikan batasan dan lingkungan di mana ia akan dieksekusi.

• Hapus hasil yang berlebihan, sehingga tersedia untuk semua langkah yang diperlukan
• Mengetahui ukuran indeks untuk mengurutkan pengambilan efektif mana yang akan dilakukan terlebih dahulu
• Mengembalikan daftar urutan node kueri yang akan dieksekusi

Pelaksana kueri

Setelah memiliki rencana terstruktur query kemudian mengambil data efektif dari database index , langkah ini dilakukan oleh pelaksana.

• Tahu cara menanyakan database indeks
• Menggabungkan hasil yang diberikan secara berurutan
• Mengambil dokumen
• Menyimpan hasil kueri dalam file untuk ditanyakan nanti menggunakan penyimpanan "dingin".

Bahasa kueri

Bahasa kueri ini sangat didasarkan pada lucene, untuk menyederhanakan desain dan memahami pengorbanan yang dilakukan.

Skenario pengujian

Skenario pengujian saat ini yang akan digunakan adalah mengindeks podcast berdasarkan nama, konten, dan tag.

Penggunaan dasar dapat ditemukan di searchzin-example .

Lisensi

searchzin tersedia di bawah lisensi MIT.