context search engine

ベクトルデータとFAISSを使用した文脈テキスト検索エンジン

このプロジェクトの主な目的は、ユーザーがテキスト ドキュメントのコーパス全体でコンテキスト検索を実行できる使いやすいインターフェイスを提供することにより、ベクトル検索機能を紹介することです。 Hugging Face の BERT と Facebook の FAISS の機能を活用することで、単なるキーワードの一致ではなく、ユーザーのクエリの意味論的な意味に基づいて、関連性の高いテキストの一節を返します。このプロジェクトは、コンテキスト化されたテキスト検索の世界に深く入り込み、最先端の NLP 技術でアプリケーションを強化したいと考えている開発者、研究者、愛好家にとっての出発点として機能します。

私の目標は、ベクター データベースの舞台裏をゼロから理解できるようにすることです。

アプリケーションのスクリーンショット:

1. 前提条件

システム上で実行するには、要件ファイルを使用して pip 経由で必要なすべてのパッケージをインストールできます。

pip install -r requirements.txt

参考までに、私はPython 3.10.1を使用しています。

ただし、GPU を使用している場合は、より高速かつ大規模なデータベース統合を行うために FAISS GPU をインストールする必要があります。

2. プロジェクトの範囲

このプロジェクトの現在のバージョンには以下が含まれます。

• ユーザーが検索クエリを入力および送信できる、Flask を使用して構築された基本的な Web インターフェイス。
• バックエンド検索エンジン:
  • Distil BERT を使用してユーザー クエリをセマンティック ベクトルに変換します。
  • クエリ ベクトルを、FAISS インデックスに格納されている事前にインデックス付けされたベクトルのセット (テキスト ドキュメントに対応) と効率的に比較します。
  • コーパスから最も文脈的に関連性の高いテキストの一節を返します。
  • 返されたテキストの一節内で文脈的に一致するキーワードを強調表示します。

このプロジェクトは機能的なコンテキスト検索システムを提供しますが、モジュール式に設計されているため、より大きなシステムやアプリケーションへの拡張や統合が可能になります。

3. 全体的な考え方の説明

このプロジェクトの基礎は、最新の NLP 技術が従来のキーワードベースの方法と比較して、はるかに正確で文脈に関連した検索結果を提供できるという信念にあります。私たちのアプローチの内訳は次のとおりです。

1. ユーザー インターフェイス: Flask を使用して構築されたフロントエンドは、ユーザーの対話ポイントとして機能します。シンプルかつ直感的に保たれています。
2. クエリのベクトル化: ユーザーがクエリを送信すると、バックエンド システムは Distil BERT を使用してクエリをセマンティック ベクトルに変換します。このベクトルはクエリの意味をカプセル化します。
3. FAISS による検索: 効率的な類似性検索ライブラリである FAISS を利用して、クエリ ベクトルをテキスト コーパスからの事前に確立されたベクトルのインデックスと迅速に比較します。意味論的な意味の観点から、最も近い一致が特定されます。
4. 結果を返す: 最も関連性の高いテキストの一節が特定されると、システムはユーザーのクエリに文脈的に一致するキーワードやフレーズも強調表示し、特定の一節が関連性があると判断された理由についての視覚的な手がかりをユーザーに提供します。
5. 反復的改良: 基礎となるモデルと技術は、新しい研究、ユーザーのフィードバック、特定のアプリケーションのニーズに基づいて改良することができます。

このアプローチに基づいて、プロジェクトを 2 つのセクションに分割しました。

セクション 1: 検索可能なベクトル化データの生成

このセクションでは、まずドキュメントから入力を読み取り、それをより小さなチャンクに分割し、BERT ベースのモデルを使用してベクトルを作成し、FAISS を使用して効率的に保存します。これを説明するフロー図を次に示します。

チャンク化されたドキュメントのベクトル表現を含む FAISS インデックス ファイルを作成します。各チャンクのインデックスも保存します。これは、データベース/ドキュメントを再度クエリする必要がないように維持されます。これは、冗長な読み取り操作を削除するのに役立ちます。

このセクションは、create_index.py を使用して実行します。上記の2つのファイルが生成されます。他のモデルを使用する必要がある場合は、HuggingFace ハブから使用できますか?

注: ディメンションのハイパーパラメータの設定で問題が見つかった場合は、モデルの config.json ファイルをチェックして、使用しようとしているモデルのディメンションの詳細を見つけてください。

セクション 2: 検索可能なアプリケーション インターフェイスの構築

このセクションでの私の目標は、ユーザーがドキュメントを操作できるようにするインターフェイスを構築することです。私は追加のハードルを生じさせないミニマルなデザインを優先しています。

4. プロジェクトの構造

1. index.html : 検索クエリを入力するためのフロントエンド HTML ページ。
2. app.py : フロントエンドを提供し、検索クエリを処理する Flask アプリケーション。
3. search_engine.py : 埋め込み生成、FAISS 検索、キーワード ハイライトのロジックが含まれています。

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. 使用方法

1. トレーニング済みの FAISS インデックス ( faiss_index.idx ) と、それに伴うインデックスからテキスト チャンクへのマッピング ( index_to_chunk.pkl ) があることを確認します。
2. Flask アプリケーションを開始します。

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Web ブラウザを開き、 http://localhost:5000に移動します。
2. 検索クエリを入力し、コンテキストに関連した結果を観察します。

6. やるべきこと - 改善のために

常に改善の余地があります。以下に、統合できる可能性のある改善点と追加機能をいくつか示します。

1. スケーラビリティ: 現在、システムは比較的小規模なコーパス向けに構築されています。より大きなデータセットを処理するには、分散システムまたはクラウドベースのソリューションを活用することを検討してください。
2. 高度な強調表示: キーワード強調表示システムを改善して、文脈に関連したフレーズ (個々の単語だけでなく) が強調表示されるようにします。
3. フィードバック ループ: ユーザーが返された結果の関連性を評価できるユーザー フィードバック メカニズムを組み込みます。これは、将来モデルを微調整するために使用できます。
4. 複数のドキュメント タイプのサポート: PDF、DOCX などのさまざまなドキュメント タイプのサポートを拡張し、ユーザーがさまざまな形式を検索できるようにします。
5. フロントエンドの強化: ユーザー インターフェイスを改善し、オートコンプリート、クエリの提案、より洗練された結果表示などの高度な機能を統合します。
6. 多言語検索のサポート: システムを拡張して、多言語でのクエリをサポートし、多言語コーパスから結果を返します。

7. ライセンス

このプロジェクトは MIT ライセンスの下にあります。引用、改変、配布、投稿などご自由にご利用ください。続きを読む。

8. 貢献する

このプロジェクトの改善に興味がある場合は、貢献を歓迎します。このリポジトリでプル リクエストまたは問題を開いてください。私は基本的に上記のことを優先的に改善に取り組んでいます。他のプル リクエストも考慮されますが、優先度は低くなります。

ご興味をお持ちいただきありがとうございます。 ：ハッピー： 。