Yat Search Engine

Mesin pencari teks Yat-Search Engine

Mesin Pencari dari Universitas Sun Yat-sen

Pengenalan proyek

Yat-Search Engine adalah mesin pencari teks efisien yang mendukung pemuatan banyak file, kueri tepat, kueri fuzzy, dan kueri ekspresi reguler. Proyek ini bertujuan untuk memberikan solusi pencarian teks yang cepat dan akurat, dengan fungsi penyimpanan dan pencatatan yang persisten, dan mendukung antarmuka berbahasa Mandarin.

Perlu dicatat bahwa pencarian dalam bahasa Mandarin hanya dapat diselesaikan melalui opsi "Pencarian Fuzzy", dan harus ada simbol "."

Proyek ini hanya untuk tujuan pembelajaran dan komunikasi, mohon jangan digunakan untuk tujuan komersial. Penulis asli tidak bertanggung jawab atas segala akibat yang timbul dari penggunaan proyek ini.

Versi saat ini masih dalam pengembangan dan beberapa fitur mungkin belum diterapkan sepenuhnya. Kontribusi dan saran kode dipersilakan!

Latar belakang proyek

Tugas utama mata kuliah “Struktur Data dan Algoritma” School of Computer Science, Sun Yat-sen University pada semester musim gugur tahun 2024.

Versi saat ini: v1.4.0

Daftar fitur

• Dukungan banyak file : Beberapa file teks dapat dimuat untuk pencarian.
• Kueri persis : Temukan kata kunci yang sama persis.
• Kueri fuzzy : Menemukan kata yang mengandung kata kunci.
• Kueri Ekspresi Reguler : Pencarian lanjutan berdasarkan ekspresi reguler.
• Hasil pencarian visual : Menampilkan posisi yang cocok dengan cara yang mirip dengan kesalahan kompiler.
• Fungsi kueri dan keluar tanpa batas : Mendukung kueri berkelanjutan, dan pengguna dapat keluar kapan saja.
• Penyimpanan persisten : menyimpan dan memuat indeks pencarian.
• Fungsi log : mencatat riwayat kueri dan log operasi.
• Mendukung keluaran bahasa Mandarin : menemukan karakter Mandarin dengan benar. (belum selesai)
• Metode kompilasi diubah dari mingW menjadi cmake : untuk memfasilitasi kompilasi lintas platform.
• Masukkan semua untuk menambahkan semua file : Masukkan semua untuk memuat semua file.

Struktur proyek

└──Yat-Search-Engine
    ├── CMakeLists.txt
    ├── LICENSE
    ├── dat
    │       └── index.dat
    ├── include
    │       ├── RegexSearch.h
    │       └── TextSearchEngine.h
    ├── log
    │       └── query_log.txt
    ├── logo_pic
    │       ├── logo.txt
    │       └── logo_out.txt
    ├── readme.md
    ├── source-text
    │       ├── bible.txt
    │       ├── text1.txt
    │       ├── text2.txt
    │       └── otherfile...
    └── src
        ├── RegexSearch.cpp
        ├── TextSearchEngine.cpp
        └── main.cpp

Proses peningkatan fungsi (TODO)

Fungsi dasar

1. Tabel hash berisi kueri v1.0.0

   • Proses peningkatan : Menerapkan fungsi hash khusus CustomHash , dan menggunakan unordered_map di TextSearchEngine untuk menggabungkan fungsi hash guna mengoptimalkan kinerja kueri.

2. Pembacaan file v1.0.1

   • Proses perbaikan : Memperbaiki mekanisme pembacaan file untuk memastikan bahwa beberapa file teks dapat dibaca dan diurai dengan benar, dan kontennya diindeks ke mesin pencari.

Tambahkan fungsionalitas

1. Dukungan banyak file (selesai) v1.1.0

   • Proses perbaikan : Ubah main.cpp untuk memungkinkan pengguna memasukkan beberapa nama file, dan sistem akan memuat file-file ini satu per satu untuk pengindeksan.

2. Mendukung ekspresi reguler (selesai) v1.1.1

   • Proses perbaikan : Tambahkan kelas RegexSearch , gunakan pustaka C++ <regex> untuk mengimplementasikan fungsi kueri berdasarkan ekspresi reguler, dan tambahkan opsi terkait ke menu utama.

3. Kueri yang tepat (selesai) v1.1.2

   • Proses perbaikan : Menerapkan metode exactQuery , secara efisien menemukan kata kunci yang cocok tepat melalui unordered_map , dan menampilkan hasil yang cocok.

4. Visualisasikan hasil pencarian, seperti meniru cara compiler melaporkan kesalahan (selesai) v1.2.0

   • Proses perbaikan : Pada hasil query, gunakan simbol ^ untuk menandai posisi kata kunci dalam kalimat, mirip dengan indikasi kesalahan kompiler, untuk meningkatkan keterbacaan.

5. Kueri tak terbatas, tombol keluar (selesai) v1.2.1

   • Proses perbaikan : Tambahkan fungsi kueri berkelanjutan ke loop utama, dan pengguna dapat memilih untuk keluar dari program untuk memastikan kelangsungan pengalaman pengguna.

6. Fungsi hash baru (selesai) v1.3.1

   • Peningkatan yang direncanakan : Optimalkan fungsi CustomHash yang ada dan tingkatkan efisiensi pemrosesan konflik hash untuk lebih meningkatkan kinerja kueri.

7. Mendukung bahasa Mandarin (selesai) v1.4.0

   • Perbaikan yang direncanakan : Memperluas dukungan pelokalan sistem, menambahkan antarmuka multi-bahasa, dan meningkatkan pengalaman pengguna Tiongkok. Namun, karena keterbatasan ekspresi reguler, pencarian berbahasa Mandarin hanya dapat diselesaikan melalui opsi "Pencarian Fuzzy", dan perlu dipastikan bahwa ada simbol "."

8. Pengoptimalan kinerja dan prapemrosesan (selesai) v1.3.1

   • Proses perbaikan : mengoptimalkan struktur indeks dan algoritma query, mengurangi waktu pencarian, dan melakukan preprocessing saat memuat teks, seperti menghilangkan stop word dan unifying case.

9. Antarmuka pengguna (selesai) v1.2.2

   • Proses peningkatan : Rancang antarmuka baris perintah yang sederhana dan intuitif untuk memandu pengguna menyelesaikan pemuatan file dan operasi kueri.

10. Penyimpanan persisten (selesai) v1.3.0

    • Proses perbaikan : Menerapkan fungsi penyimpanan dan pemuatan indeks untuk menghindari pembuatan ulang indeks setiap kali program dimulai, sehingga meningkatkan kecepatan startup.

11. Fungsi log, rekam riwayat kueri, dll. (Selesai) v1.3.2

    • Proses peningkatan : Setelah setiap kueri dan operasi penting, informasi yang relevan dicatat ke query_log.txt untuk memudahkan pengguna melihat catatan riwayat dan debug.

12. Mendukung keluaran Cina (selesai) v1.4.0

    • Proses perbaikan : Menyiapkan lingkungan pelokalan untuk memastikan bahwa program dapat memproses dan menampilkan karakter Mandarin dengan benar, serta meningkatkan pengalaman pengguna berbahasa Mandarin.

13. Metode kompilasi diubah dari mingW menjadi cmake (selesai) v1.4.0

    • Proses perbaikan : Karena keterbatasan penggunaan kompilasi .vscode (misalnya, saya tidak dapat mengkompilasi di codespace), metode kompilasi diubah dari mingW menjadi cmake untuk memfasilitasi kompilasi lintas platform.

14. Masukkan semua untuk menambahkan semua file (selesai) v1.4.0

    • Proses yang ditingkatkan : Saat memasukkan nama file, masukkan semua untuk memuat semua file.

Cara menggunakan

Proyek klon

Harap pastikan untuk menjalankannya di lingkungan Linux. Karakter Cina yang kacau mungkin terjadi di lingkungan Windows. Masuk ke direktori kerja dan kloning proyek secara lokal:

git clone https://github.com/ouyangyipeng/Yat-Search-Engine.git
cd Yat-Search-Engine

Metode kompilasi dan pengoperasian yang disarankan - kompilasi menggunakan Cmake

Pastikan Anda telah menginstal CMake dan kompiler berkemampuan C++17, seperti g++ atau clang++ . File cmakelists.txt telah dikonfigurasi dengan opsi kompilasi. Cukup jalankan perintah berikut untuk mengkompilasi proyek. Perhatikan bahwa kompiler default terletak di /usr/bin/g++ . Jika Anda perlu menggunakan kompiler lain, harap modifikasi file CMakeLists.txt.

mkdir build  # 假如没有build文件夹
cd build
cmake ..
cmake --build .
./YatSearchEngine

Jalankan program

Tempatkan file teks yang ingin Anda cari ke dalam folder teks sumber dan pastikan file disimpan dalam format .txt.

Langkah-langkah operasi

Mulai program: Setelah menjalankan file yang dapat dieksekusi, program akan menampilkan antarmuka selamat datang dan meminta untuk menekan Enter untuk melanjutkan.

Muat file: Masukkan file yang akan dimuat sesuai petunjuk, masukkan nama file setiap kali (harus diakhiri dengan .txt), masukkan selesai untuk menyelesaikan pemilihan file.

Pilih jenis kueri:

Masukkan 1 untuk kueri yang tepat.

Masukkan 2 untuk kueri fuzzy.

Masukkan 3 untuk kueri ekspresi reguler.

Masukkan 4 untuk keluar dari program.

Masukkan konten kueri: Menurut jenis kueri yang dipilih, masukkan kata kunci atau ekspresi reguler yang sesuai.

Lihat hasilnya: Hasil kueri akan menampilkan kalimat yang cocok dan penanda lokasinya.

Keluar dari program: Pilih opsi keluar, program akan menyimpan indeks dan mencatat log sebelum keluar.

Tampilan log

Log operasi kueri disimpan dalam file query_log.txt. Pengguna dapat melihat catatan kueri historis dan log operasi melalui editor teks.

menyumbang

Kontribusi dan saran kode dipersilakan! Silakan kirimkan Permintaan Penarikan atau berikan tanggapan Anda pada Masalah.

lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Lihat file LISENSI untuk detailnya.