Yat Search Engine

Yat-Search Engine テキスト検索エンジン

中山大学の検索エンジン

プロジェクト紹介

Yat-Search Engine は、複数のファイルの読み込み、正確なクエリ、ファジー クエリ、および正規表現クエリをサポートする効率的なテキスト検索エンジンです。このプロジェクトは、永続ストレージとロギング機能を備えた、高速かつ正確なテキスト検索ソリューションを提供することを目的としており、中国語インターフェイスをサポートしています。

中国語の検索は「あいまい検索」オプションを使用してのみ完了でき、末尾に「.」記号が必要であることに注意してください。

このプロジェクトは学習とコミュニケーションのみを目的としており、商業目的で使用しないでください。オリジナルの作者は、このプロジェクトの使用から生じるいかなる結果についても責任を負いません。

現在のバージョンはまだ開発中のため、一部の機能はまだ完全には実装されていない可能性があります。コードの貢献や提案は大歓迎です。

プロジェクトの背景

中山大学コンピュータサイエンス学部「データ構造とアルゴリズム」コースの2024年秋学期の主な課題。

現在のバージョン: v1.4.0

機能一覧

• 複数ファイルのサポート: 複数のテキスト ファイルを読み込んで検索できます。
• 完全一致クエリ: 完全に一致するキーワードを検索します。
• ファジークエリ: キーワードを含む単語を検索します。
• 正規表現クエリ: 正規表現に基づく高度な検索。
• 視覚的な検索結果: コンパイラ エラー レポートと同様の方法で、一致する位置を表示します。
• 無制限のクエリと終了機能: 継続的なクエリをサポートし、ユーザーはいつでも終了できます。
• 永続ストレージ: 検索インデックスの保存と読み込み。
• ログ機能：クエリ履歴や操作ログを記録します。
• 中国語出力をサポート: 中国語の文字を正しく検索します。 (まだ完成していません)
• クロスプラットフォームのコンパイルを容易にするために、コンパイル方法が mingW から cmake : に変更されました。
• すべてのファイルを追加するには all を入力します。すべてのファイルをロードするには all を入力します。

プロジェクトの構造

└──Yat-Search-Engine
    ├── CMakeLists.txt
    ├── LICENSE
    ├── dat
    │       └── index.dat
    ├── include
    │       ├── RegexSearch.h
    │       └── TextSearchEngine.h
    ├── log
    │       └── query_log.txt
    ├── logo_pic
    │       ├── logo.txt
    │       └── logo_out.txt
    ├── readme.md
    ├── source-text
    │       ├── bible.txt
    │       ├── text1.txt
    │       ├── text2.txt
    │       └── otherfile...
    └── src
        ├── RegexSearch.cpp
        ├── TextSearchEngine.cpp
        └── main.cpp

機能改善プロセス（TODO）

基本機能

1. ハッシュ テーブルにはクエリ v1.0.0 が含まれています

   • 改善プロセス: カスタム ハッシュ関数CustomHashを実装し、 TextSearchEngineでunordered_map使用してハッシュ関数を結合し、クエリのパフォーマンスを最適化します。

2. ファイル読み込みv1.0.1

   • 改善プロセス: ファイル読み取りメカニズムを改善して、複数のテキスト ファイルを正しく読み取って解析できるようにし、コンテンツが検索エンジンにインデックス付けされるようにします。

機能を追加する

1. 複数ファイルのサポート(完了) v1.1.0

   • 改善プロセス: ユーザーが複数のファイル名を入力できるようにmain.cpp変更すると、システムはインデックス作成のためにこれらのファイルを 1 つずつロードします。

2. 正規表現のサポート(完了) v1.1.1

   • 改善プロセス: RegexSearchクラスを追加し、C++ <regex>ライブラリを使用して正規表現に基づくクエリ関数を実装し、対応するオプションをメイン メニューに追加します。

3. 正確なクエリ(完了) v1.1.2

   • 改善プロセス： exactQueryメソッドを実装し、 unordered_mapを通じて完全に一致するキーワードを効率的に検索し、一致結果を表示します。

4. コンパイラーがエラーを報告する方法を模倣するなど、視覚的な検索結果(完成) v1.2.0

   • 改善プロセス: クエリ結果では、コンパイラのエラー表示と同様に、記号^を使用して文内のキーワードの位置をマークし、可読性を高めます。

5. 無制限のクエリ、終了ボタン(完了) v1.2.1

   • 改善プロセス: 継続的なクエリ機能をメイン ループに追加し、ユーザーはプログラムを終了することを選択して、ユーザー エクスペリエンスの継続性を確保できます。

6. 新しいハッシュ関数(完成) v1.3.1

   • 計画された改善: 既存のCustomHash関数を最適化し、ハッシュ競合処理の効率を改善して、クエリのパフォーマンスをさらに向上させます。

7. 中国語のサポート(完了) v1.4.0

   • 計画された改善: システムのローカリゼーション サポートを拡張し、多言語インターフェイスを追加し、中国語ユーザーのエクスペリエンスを向上させます。ただし、正規表現の制限により、中国語の検索は「あいまい検索」オプションを介してのみ完了でき、末尾に「.」記号があることを確認する必要があります。

8. パフォーマンスの最適化と前処理(完了) v1.3.1

   • 改善プロセス: インデックス構造とクエリ アルゴリズムを最適化し、検索時間を短縮し、テキスト読み込み時にストップ ワードの削除や大文字と小文字の統一などの前処理を実行します。

9. ユーザーインターフェース(完成) v1.2.2

   • 改善プロセス: ユーザーがファイルの読み込みとクエリ操作を完了できるように、簡潔で直感的なコマンド ライン インターフェイスを設計します。

10. 永続ストレージ(完了) v1.3.0

    • 改善プロセス: インデックスの保存およびロード機能を実装し、プログラムを起動するたびにインデックスを再構築することを回避し、起動速度を向上させます。

11. ログ機能、クエリ履歴の記録など（完成） v1.3.2

    • 改善プロセス: 各クエリおよび重要な操作の後に、ユーザーが履歴を確認してデバッグしやすくするために、関連情報がquery_log.txtに記録されます。

12. 中国語出力のサポート(完了) v1.4.0

    • 改善プロセス: ローカリゼーション環境をセットアップして、プログラムが中国語の文字を正しく処理して表示できることを確認し、中国人ユーザーのエクスペリエンスを向上させます。

13. コンパイル方法をmingWからcmakeに変更(完了) v1.4.0

    • 改善プロセス: .vscode コンパイルの使用には大きな制限があるため (たとえば、コードスペースでコンパイルできない)、クロスプラットフォーム コンパイルを容易にするために、コンパイル方法が mingW から cmake に変更されました。

14. すべてのファイルを追加するには all を入力します(完了) v1.4.0

    • プロセスの改善: ファイル名を入力するときに、all と入力すると、すべてのファイルがロードされます。

使用方法

クローンプロジェクト

Windows環境では中国語の文字化けが発生する場合がありますので、必ずLinux環境で実行してください。作業ディレクトリに入り、プロジェクトをローカルにクローン作成します。

git clone https://github.com/ouyangyipeng/Yat-Search-Engine.git
cd Yat-Search-Engine

推奨されるコンパイルと実行方法 - Cmake を使用してコンパイルする

CMake と、 g++やclang++などの C++17 対応コンパイラーがインストールされていることを確認してください。 cmakelists.txt ファイルにはコンパイル オプションが設定されています。次のコマンドを実行するだけでプロジェクトをコンパイルできます。デフォルトのコンパイラは/usr/bin/g++にあることに注意してください。他のコンパイラを使用する必要がある場合は、CMakeLists.txt ファイルを変更してください。

mkdir build  # 假如没有build文件夹
cd build
cmake ..
cmake --build .
./YatSearchEngine

プログラムの実行

検索するテキスト ファイルをソース テキスト フォルダーに配置し、ファイルが .txt 形式で保存されていることを確認します。

操作手順

プログラムを開始します。実行可能ファイルを実行すると、プログラムはようこそインターフェイスを表示し、Enter キーを押して続行するように求めるプロンプトを表示します。

ファイルのロード: プロンプトに従ってロードするファイルを入力し、毎回ファイル名を入力し (.txt で終わる必要があります)、「done」と入力してファイルの選択を完了します。

クエリの種類を選択します:

正確なクエリを実行するには 1 を入力します。

ファジークエリの場合は 2 を入力します。

正規表現クエリの場合は 3 を入力します。

4 を入力してプログラムを終了します。

クエリ内容を入力: 選択したクエリ タイプに応じて、対応するキーワードまたは正規表現を入力します。

結果の表示: クエリ結果には、一致する文とその位置マーカーが表示されます。

プログラムを終了する: 終了オプションを選択すると、プログラムは終了する前にインデックスを保存し、ログを記録します。

ログビュー

クエリ操作ログは query_log.txt ファイルに保存され、ユーザーはテキスト エディターを使用して履歴クエリ レコードと操作ログを表示できます。

貢献する

コードの貢献や提案は大歓迎です。プル リクエストを送信するか、問題でフィードバックをお寄せください。

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。