algolia webcrawler

Perayap Web Algolia

Pekerja simpul sederhana yang merayapi peta situs untuk menjaga indeks Algolia tetap mutakhir.

Ini menggunakan pemilih CSS sederhana untuk menemukan konten teks sebenarnya untuk diindeks.

Aplikasi ini menggunakan perpustakaan Algolia.

TL;DR

1. Penggunaan
2. Prasyarat
3. Instalasi
4. Berlari
5. Berkas konfigurasi
6. Opsi konfigurasi
7. Objek Tersimpan
8. Pengindeksan
9. Lisensi

Penggunaan

Skrip ini harus dijalankan melalui crontab untuk merayapi seluruh situs web secara berkala.

Prasyarat

1. Memiliki setidaknya satu url sitemap.xml valid yang berisi semua url yang ingin Anda indeks.
2. Peta situs harus berisi setidaknya simpul <loc> , yaitu urlset/url/loc .
3. Indeks Algolia kosong.
4. Kredensial Algolia yang dapat membuat objek dan mengatur pengaturan pada indeks, yaitu pencarian, addObject, setting, browsing, deleteObject, editSettings, deleteIndex

Instalasi

1. Dapatkan versi terbaru
   • npm npm i algolia-webcrawler -g
   • git
     • ssh+git: git clone [email protected]:DeuxHuitHuit/algolia-webcrawler.git
     • https: git clone https://github.com/DeuxHuitHuit/algolia-webcrawler.git
   • https unduh tarball terbaru
2. buat file config.json

Berlari

npm

 algolia-webcrawler --config config.json

lainnya

cd ke root proyek dan jalankan node app .

Berkas konfigurasi

Konfigurasi dilakukan melalui file config.json.

Anda dapat memilih file config.json yang disimpan di tempat lain menggunakan tanda --config.

node app --config my-config.json

Opsi konfigurasi

Minimal, Anda dapat mengedit config.json untuk menetapkan nilai ke opsi berikut: 'app', 'cred', 'indexname' dan setidaknya satu objek 'sitemap'. Jika Anda memiliki beberapa peta situs, harap cantumkan semuanya: sub-peta situs tidak akan dirayapi.

Sebagian besar opsi diperlukan. Tidak ada default yang diberikan, kecuali dinyatakan sebaliknya.

aplikasi: String

Nama aplikasi Anda.

kredibilitas: Obyek

Objek kredensial Algolia. Lihat 'cred.appid' dan 'cred.apikey'.

kredibilitas.appid: String

ID Aplikasi Algolia Anda.

kredibilitas.apikey: String

Kunci API Algolia yang Anda buat.

delayBetweenRequests: Integer

Penundaan sederhana antara setiap permintaan yang dibuat ke situs web dalam milidetik.

entri lama: Integer

Jumlah maksimum milidetik sebuah entri dapat aktif tanpa diperbarui. Setelah setiap kali dijalankan, aplikasi akan mencari entri lama dan menghapusnya. Jika Anda tidak ingin menghapus entri lama, setel nilai ini ke 0.

filter entri lama: String

String filter yang akan diterapkan saat menghapus entri lama. Berguna ketika Anda ingin menyimpan catatan lama yang tidak dapat diperbarui. Hanya rekaman yang lama dan cocok dengan filter yang akan dihapus.

maxRecordSize: Bilangan bulat

Ukuran maksimum dalam byte data yang akan dikirim ke Algolia. Standarnya adalah 10.000 tetapi dapat bervariasi berdasarkan paket yang berbeda.

atributToPop: Array

Jika data terlalu besar (berdasarkan maxRecordSize), crawler akan menghapus nilai dari kunci teks. Gunakan atribut ini untuk mengonfigurasi kunci mana yang harus dipangkas ketika rekamannya terlalu besar.

indeks: Objek

Sebuah objek yang berisi berbagai nilai yang terkait dengan indeks Anda.

indeks.nama: String

Nama indeks Anda.

indeks.pengaturan: Objek

Sebuah objek yang akan bertindak sebagai argumen terhadap metode Index#setSetting Algolia.

Silakan baca dokumentasi Algolia tentang hal itu. Atribut valid apa pun yang didokumentasikan untuk metode ini dapat digunakan.

indeks.pengaturan.attributesToIndex: Array

Array string yang menentukan atribut mana yang dapat diindeks, yang berarti pencarian teks lengkap akan dilakukan terhadap atribut tersebut. Untuk daftar lengkap atribut yang mungkin, lihat bagian Objek Tersimpan.

indeks.settings.attributesForFaceting: Array

Array string yang menentukan atribut mana yang dapat difilter, yang berarti Anda dapat menggunakannya untuk mengecualikan beberapa rekaman agar tidak dikembalikan. Untuk daftar lengkap atribut yang mungkin, lihat bagian Objek Tersimpan.

peta situs: Array

Array ini harus berisi daftar objek peta situs.

Peta situs adalah objek yang sangat sederhana dengan dua properti String: url dan lang. Properti 'url' adalah url persis untuk peta situs ini. Properti 'lang' harus menjelaskan bahasa utama yang digunakan oleh url yang ditemukan di peta situs.

http: Objek

Objek yang berisi opsi http berbeda.

http.auth: String

String autentikasi, dalam bentuk username:password simpul. Jika Anda tidak memerlukan autentikasi, Anda masih perlu menentukan String kosong.

penyeleksi: Objek

Sebuah objek yang berisi pemilih CSS untuk menemukan konten di halaman html.

selectors.title: String|Selector

Pemilih CSS untuk judul halaman.

selectors.deskripsi: String|Selector

Pemilih CSS untuk deskripsi halaman.

selectors.image: String|Selector

Pemilih CSS untuk gambar halaman.

selectors.text: String|Selector

Pemilih CSS untuk judul halaman.

penyeleksi[kunci]: String|Pemilih

Pemilih CSS untuk properti "kunci". Anda dapat menambahkan kunci khusus sesuai keinginan.

Objek Pemilih

Selector juga dapat didefinisikan menggunakan bentuk panjang (yaitu sebagai objek), yang memungkinkan menentukan properti khusus di dalamnya.

penyeleksi[kunci].atribut: String|Array

Nama atribut untuk mencari nilai. Standarnya adalah ['konten', 'nilai'].

penyeleksi[kunci].pemilih: String

Pemilih CSS sebenarnya yang akan digunakan.

penyeleksi[kunci].batas: Nomor

Jumlah maksimum node yang akan diperiksa.

pengecualian: Obyek

Sebuah objek yang berisi pemilih CSS untuk menemukan elemen yang tidak boleh diindeks. Pemilih CSS tersebut dicocokkan untuk setiap node dan diperiksa terhadap semua induknya untuk memastikan bukan induknya yang dikecualikan.

pengecualian.teks: String

Pemilih CSS dari elemen yang dikecualikan untuk teks halaman.

pengecualian[kunci]: String

Pemilih CSS dari elemen yang dikecualikan untuk properti "kunci". Kuncinya harus cocok dengan yang digunakan di selectors[key].

pemformat: Obyek

Sebuah objek yang berisi string formatter. Nilainya dihapus dari hasil asli yang diperoleh dengan pemilih CSS terkait.

formatters.title: String, Array

String yang akan dihapus dari judul halaman. Bisa juga berupa array string.

formatter[kunci]: String,Array

String yang akan dihapus dari kunci yang ditentukan. Bisa juga berupa array string.

jenis[kunci]: String

Fungsi parse digunakan untuk memformat nilai. Tipe yang didukung adalah "integer", "float", "boolean" dan "json".

default[kunci]: String

Nilai default dimasukkan untuk kunci yang ditentukan. Akan ditetapkan jika nilainya salah.

plugin: Array

Daftar file javascript untuk memuat kode khusus sebelum menyimpan catatan. Satu-satunya persyaratan adalah mengimplementasikan antarmuka berikut, di mana record adalah objek yang akan disimpan dan data adalah html.

 module . exports = ( record , data ) => {
	record . value_from_plugin = 'Yay!' ;
} ; 

daftar hitam: Array

Semua url diperiksa terhadap semua item dalam daftar hitam. Jika url lengkap atau komponen jalurnya ada dalam daftar hitam, maka url tersebut tidak akan diindeks.

Objek Tersimpan

Objek yang disimpan di server Algolia adalah sebagai berikut

 {
	date : new Date ( ) ,
	url : 'http://...' ,
	objectID : shasum . digest ( 'base64' ) ,
	lang : sitemap . lang ,
	http : { } ,
	title : '' ,
	description : '' ,
	image : '' ,
	text : [ '...' ]
}

Satu hal yang perlu diperhatikan adalah teks adalah array, karena kami mencoba mempertahankan simpul teks asli -> hubungan nilai sebenarnya. Algolia menangani ini dengan baik.

pingbackUrl

Satu url dapat diatur untuk mengirim ping kembali ke server web setelah setiap url disimpan di Algolia. Server web akan menerima postingan dengan informasi ini:

	result=[success|error]
	action=[update|delete]
	url=the url inserted
	last-modified=[the http header value]
	source=algolia-crawler

Pengindeksan

Pengindeksan dilakukan secara otomatis, pada setiap proses. Untuk mengubah cara kerja pengindeksan, silakan lihat opsi konfigurasi index.settings.

LISENSI

MIT
Dibuat dengan cinta di Montréal oleh Deux Huit Huit
Hak Cipta (c) 2014-2019