elasticsearch_tutorial

Penafian

Tutorial ini dibuat untuk ElasticSearch versi 5.2. Versi 5 menampilkan banyak perubahan yang dapat mengganggu dalam hal kueri DSL dan pemetaan.

Jika Anda masih menjalankan versi 2.x, silakan lihat cabang v2 dari repositori ini .

Contoh ElasticSearch

Saya telah menyiapkan banyak contoh untuk menampilkan fitur dan kekuatan ElasticSearch. Banyak informasi didasarkan pada "ElasticSearch, The Definitive Guide".

Menginstal

Unduh ElasticSearch & Kibana di sini, lalu ikuti langkah sederhana berikut:

• Instal ElasticSearch & Kibana.
• Jalankan ElasticSearch ./bin/elasticsearch
• Jalankan Kibana ./bin/kibana
• Gunakan konsol Kibana dengan mengakses http://localhost:5601/app/kibana#/dev_tools/console

Latihan 1: dasar-dasarnya

Latihan 1 sangat sederhana dan tujuannya adalah untuk memahami antarmuka ElasticSearch RESTFul.

Topik:

• Menavigasi ke halaman arahan ElasticSearch
• Mencari semua dokumen
• Menghitung dokumen
• Menambahkan dokumen ke indeks
• Pembaruan dokumen lengkap
• Pembaruan sebagian dokumen
• Ambil dokumen individual
• Mencari semua dokumen untuk indeks tertentu

Latihan beban 1

Latihan 2: memuat data secara massal

Pada latihan 2 kita akan mengindeks banyak data. Untuk meningkatkan kinerja, kami melakukan ini secara massal.

Data ini berisi informasi dari blog Combell. Saya telah mengindeks informasi berikut:

• Judul
• Pengarang
• Tanggal
• Kategori
• Bahasa
• PANDUAN

Data ini akan digunakan pada latihan lainnya.

Memuat data blog secara massal

Latihan 3: pencarian, mengenal query DSL

Dalam latihan 3 kami melakukan beberapa kueri dasar menggunakan DSL kueri ElasticSearch. DSL berbasis JSON dan kuerinya adalah penelusuran teks lengkap.

Berikut beberapa penelusuran yang kami lakukan:

• Telusuri satu istilah dalam indeks
• Telusuri beberapa istilah dalam indeks
• Lakukan pencarian pada beberapa istilah menggunakan operator "dan".
• Tentukan jumlah minimum kecocokan yang harus dimiliki suatu dokumen
• Tentukan kedekatan istilah yang Anda cari

Latihan beban 3

Latihan 4: analisis

Dalam latihan 4, kita akan fokus pada analisis teks lengkap dan bahasa manusia. Kami akan mengabaikan kemampuan database ElasticSearch dan melemparkan beberapa teks ke dalamnya, dan melihat bagaimana hal itu memberi token pada data.

Bergantung pada penganalisis yang Anda gunakan, ElasticSearch akan memberi token dan menyimpan data dengan cara yang berbeda. Jangan khawatir, data asli akan tetap berada di sumber dokumen, yang berubah adalah indeks terbalik.

Latihan beban 4

Latihan 5: tanpa skema? Tidak terlalu.

Latihan 5 membahas tentang skema indeks. ElasticSearch dipasarkan sebagai tanpa skema. Kenyataannya, ElasticSearch akan menebak skemanya untuk Anda.

Saya akan menunjukkan kepada Anda contoh di mana ia berhasil menebak dan contoh di mana ia tidak berhasil.

Latihan beban 5

Latihan 6: pemetaan

Untuk menghindari ElasticSearch salah menebak skema, pemetaan eksplisit adalah ide yang bagus. Latihan 6 akan menyiapkan pemetaan yang tepat untuk contoh blog kita dan memasukkan kembali datanya.

Integer dan string akan ditentukan sesuai dan tanggal akan memiliki format yang tepat.

Pemetaan eksplisit akan digunakan dalam latihan 7.

Latihan beban 6

Latihan 7: pencarian menggunakan pemetaan eksplisit

2 pencarian di latihan 5 yang gagal sekarang akan dieksekusi lagi. Berkat pemetaan eksplisit, hasilnya akan benar.

• Kueri 1 tidak akan mengembalikan apa pun, karena rentangnya tidak cocok
• Kueri 2 & 3 akan mengembalikan dokumen yang sesuai dengan rentang data

Latihan beban 7

Latihan 8: bidang yang tidak dianalisis

Pada latihan 8, kita akan mendefinisikan pemetaan lain pada indeks blog kita. Pemetaan ini hanya memperlakukan kolom "judul" sebagai teks lengkap. String lainnya tidak akan dianalisis dan diberi token. Mereka akan disimpan "sebagaimana adanya" .

Data ini akan digunakan pada latihan 9.

Latihan beban 8

Latihan 9: filter, teks lengkap vs. nilai eksak

Dalam latihan 9, saya akan menunjukkan perbedaan antara pencarian teks lengkap menggunakan kueri dan pencocokan nilai persis menggunakan kueri dalam mode filter.

Pemetaan yang dilakukan pada latihan 8 telah memastikan sekarang ada kolom "kata kunci" pada properti judul. Artinya, kueri pada "judul" diperlakukan sebagai penelusuran teks lengkap dan filter boolean pada bidang "judul.kata kunci" biasa diperlakukan sebagai pencocokan nilai persis.

Dalam salah satu contoh, saya juga akan menunjukkan cara menggabungkan beberapa kueri dan filter.

Inilah yang akan kita lakukan dalam latihan ini:

• Gunakan kueri awalan dalam konteks filter untuk melakukan pencarian karakter pengganti, meskipun bidang tidak dianalisis
• Lakukan kueri standar menggunakan bidang "kata kunci".
• Gunakan kueri boolean dalam mode filter untuk menggabungkan beberapa filter berdasarkan operator "dan" , "atau" & "tidak"
• Gunakan kueri boolean biasa dan perhatikan bagaimana perilaku klausa (seharusnya) berubah

Latihan beban 9

Latihan 10: pemetaan berbasis bahasa

Kami akan kembali memetakan datanya. Kali ini, kita akan memperlakukan properti "title" sebagai bidang yang dianalisis. Secara default, penganalisis "standar" digunakan. Karena data kami dalam bahasa Belanda dan Inggris, saya menambahkan 2 kolom:

• Kata "en" secara eksplisit menggunakan penganalisa bahasa Inggris
• Kata "nl" secara eksplisit menggunakan penganalisis Belanda

Ini adalah versi terakhir dari pemetaan. Contoh lainnya akan menggunakan pemetaan dan data ini.

Latihan beban 10

Latihan 11: menggunakan bahasa

Latihan 11 membahas tentang analisis teks, berdasarkan bahasa. Latihan 4 merupakan petunjuk terhadap analisis data. Sekarang kita akan melakukan penelusuran yang bergantung pada analisis bahasa.

• Query 1 akan mencari istilah "karya" pada properti "judul".
• Query 2 akan mencari istilah "work" pada kolom "title.en" (yang menggunakan penganalisa bahasa Inggris)
• Query 3 akan mencari istilah "werk" pada properti "title".
• Query 4 akan mencari istilah "werk" pada kolom "title.nl" (yang menggunakan penganalisis Belanda)

Latihan beban 11

Latihan 12: data geografis

Dalam latihan 12, kita akan membuat indeks "kota" baru, yang berisi semua kota yang terletak di provinsi West-Vlaanderen di Belgia. Indeks menyimpan nama kota dan koordinat geografisnya.

Pemetaan eksplisit dan datanya akan digunakan dalam latihan lain.

Latihan beban 12

Latihan 13: pencarian geografis

Pada latihan sebelumnya, kita membuat indeks baru dan mengindeks beberapa data geografis. Dalam latihan 13, kita akan melakukan pencarian pada data ini.

2 pertanyaan akan ditampilkan:

• Kueri yang menampilkan semua kota dalam jarak 5 km dari Diksmuide
• Kueri yang menampilkan semua kota yang terletak di kotak pembatas tertentu (antara Koksijde & Nieuwpoort)

Latihan beban 13

Latihan 14: data agregasi

Dalam latihan 14, kita akan memuat data ke dalam indeks lainnya. Indeks ini disebut "mobil" dan berisi informasi penjualan mobil. Setiap transaksi melacak informasi berikut:

• Harga jualnya
• Merek mobil yang dijual
• Warna mobil
• Data penjualan

Informasi ini akan digunakan dalam latihan 15.

Latihan beban 14

Latihan 15: melakukan agregasi

Agregasi adalah fitur ElasticSearch yang sangat canggih. Ini pada dasarnya seperti "kelompokkan berdasarkan" dalam SQL, tetapi jauh lebih kuat. Agregasi adalah alasan mengapa ElasticSearch populer di komunitas data besar dan ilmu data.

Ini adalah agregasi yang akan kami jalankan dalam latihan ini:

• Dapatkan 10 penulis blog Combell terpopuler
• Dapatkan 10 penulis terpopuler di blog Combell dan tampilkan berapa banyak postingan yang mereka tulis dalam setiap bahasa
• Dapatkan semua postingan blog yang ditulis dalam bahasa Belanda, yang diterbitkan pada tahun 2016. Gunakan agregasi untuk melihat jumlahnya per bulan
• Dapatkan 3 mobil paling populer teratas
• Dapatkan harga rata-rata mobil yang terjual
• Dapatkan statistik lengkap tentang harga mobil yang terjual
• Dapatkan total pendapatan mobil per kisaran harga, dengan interval 20.000 USD
• Hitung harga rata-rata sebuah Ford, versus harga rata-rata total semua mobil yang terjual

Latihan beban 15