Mesin pencari Sumber Terbuka + perayap web. Dapat digunakan untuk menyimpan cache situs web tertentu atau seluruh web. Ini adalah bagian dari proyek untuk menyimpan situs web tertentu ke dalam raspberry Pi dan membuat informasi tersedia secara bebas di daerah terpencil di mana akses internet sulit disediakan.
Ini adalah pekerjaan yang sedang berjalan dan pada tahap awal, tidak layak untuk penggunaan produksi. Namun untuk situs web tunggal, mesin pencari ini bekerja dengan sangat baik.
Hasil
Mesin pencari memiliki 2 komponen; crawler dan server. Perayap merayapi web dan mengirimkan konten laman yang dirayapi kembali ke server. Server menyimpan konten ini dalam database. Setiap kali pengguna ingin mencari sesuatu, server melakukan operasi pencarian database atas konten yang disimpan.
Server: PHP7+MySQL.
Klien : Berjalan di mana-mana
Bangun file main.go di folder crawler: go build main.go
Siapkan server LEMP
Siapkan server web secara online, dengan menyalin konten dari folder server web.
Impor db.sql ke database MySQL Anda.
Buka application/config/database.php untuk mengubah kredensial database ke server db Anda.
Uji untuk melihat apakah ini berfungsi dengan mengunjungi server-ip/index.php/Api Anda
Ubah link di file config.json
agar mengarah ke server Anda, ubah juga url awal.
Jalankan perayap : ./main ./
. Argumen pertama ke crawler adalah jalur ke direktori yang berisi file config.json. (PS: Anda dapat menjalankan beberapa crawler sekaligus)
Kunjungi ip server Anda untuk melihat halaman pencarian dan melihat perkembangan jumlah halaman yang diindeks.