Ada banyak sumber daya di Internet, tetapi cara mencari informasi secara efektif sulit dilakukan. Membangun mesin pencari adalah cara terbaik untuk mengatasi masalah ini. Artikel ini pertama-tama memperkenalkan struktur sistem mesin pencari berbasis Internet secara rinci, dan kemudian memberikan penjelasan rinci dari tiga aspek: robot jaringan, mesin indeks, dan server Web. Untuk memahami lebih dalam tentang teknologi ini, saya juga secara pribadi menerapkan mesin pencari saya sendiri - mesin pencari berita.
Mesin pencari berita mem-parsing dan mencari halaman web tertentu berdasarkan hyperlink, dan mengindeks setiap berita yang ditemukan dan menambahkannya ke database. Kemudian server Web menerima permintaan klien dan mencari berita yang cocok dari database indeks.
Pada bab pengenalan mesin pencari, selain menguraikan teknologi inti secara detail, saya juga menggabungkan kode implementasi mesin pencari berita untuk diilustrasikan, dengan gambar dan teks yang mudah dipahami.
Daftar Isi Daftar Isi 1
Ringkasan 3
Bab 1 Pendahuluan 4
Bab 2 Struktur mesin pencari 5
2.1 Ikhtisar Sistem 5
2.2 Komposisi mesin pencari5
2.2.1 Robot jaringan 5
2.2.2 Pengindeksan dan Pencarian 5
2.2.3 Server web 6
2.3 Indikator utama dan analisa mesin pencari 6
Bagian 2.4 6
Bab 3 Robot Jaringan 7
3.1 Apa itu robot jaringan 7
3.2 Analisis struktur robot jaringan 7
3.2.1 Cara mengurai HTML 7
3.2.2 Struktur program laba-laba 8
3.2.3 Cara membuat program Spider 9
3.2.4 Cara meningkatkan kinerja program 11
3.2.5 Analisis kode robot jaringan 12
Bagian 3.3 14
Bab 4 Pengindeksan dan Pencarian Berdasarkan LUCENE 15
4.1 Apa itu pencarian teks lengkap LUCENE 15
4.2 Analisis prinsip LUCENE 15
4.2.1 Mekanisme implementasi pengambilan teks lengkap 15
4.2.2 Efisiensi pengindeksan Lucene 15
4.2.3 Mekanisme segmentasi kata Cina 17
4.3 Kombinasi LUCENE dan SPIDER 18
Bagian 4.4 21
Bab 5 Server WEB berbasis TOMCAT 22
5.1 Apa itu server WEB berbasis TOMCAT 22
5.2 Desain antarmuka pengguna 22
5.3.1 Desain klien 22
5.3.2 Desain server 23
5.3 Terapkan proyek pada TOMCAT 25
Bagian 5.4 25
Bab 6 Strategi Mesin Pencari 26
6.1 Pendahuluan 26
6.2 Strategi pencarian berorientasi topik 26
6.2.1 Kata-kata panduan 26
6.2.3 Halaman web resmi dan halaman web pusat 27
Bagian 6.3 27
Referensi 28
Memperluas
