Document_Comparison_System

RAGを利用した文書比較システム

2 つのドキュメント間のコンテキスト比較を実行するための、検索拡張生成 (RAG) ベースのシステム。このシステムは、言語処理と埋め込みに Azure OpenAI、ベクトル ストレージに ChromaDB、バックエンドに FastAPI、ユーザー インターフェイスに Streamlit を使用します。

特徴

• 複数のドキュメント形式 (PDF、DOCX、TXT) のアップロードと処理
• セマンティック検索を使用した RAG ベースのドキュメント比較
• 並べて比較ビューを備えたインタラクティブな Web インターフェイス
• カスタム比較クエリ
• ダウンロード可能な比較結果
• 効率的なドキュメントのチャンク化と処理
• ChromaDB によるベクトル ストレージ
• FastAPI を使用した REST API バックエンド

前提条件

• Python 3.8+
• Azure OpenAI API アクセス
• ベクトルデータベース用の十分なストレージスペース

インストール

1. リポジトリのクローンを作成します。

git clone < repository-url >
cd document-comparison-system

2. 必要なパッケージをインストールします。

pip install -r requirements.txt

3. Azure OpenAI 資格情報を使用して、プロジェクト ルートに.envファイルを作成します。

 AZURE_OPENAI_API_KEY=your_api_key
AZURE_OPENAI_ENDPOINT=your_endpoint
AZURE_DEPLOYMENT_NAME=your_deployment_name
AZURE_EMBEDDINGS_DEPLOYMENT_NAME=your_embeddings_deployment_name

プロジェクトの構造

 project_root/
├── app.py           # Streamlit frontend
├── backend.py       # FastAPI backend
├── processor.py     # Document processing and RAG logic
├── config.py        # Configuration settings
└── requirements.txt # Project dependencies

アプリケーションの実行

1. バックエンドサーバーを起動します。

python backend.py

2. 新しいターミナルで、Streamlit フロントエンドを起動します。

streamlit run app.py

3. ブラウザを開いてhttp://localhost:8501に移動し、アプリケーションにアクセスします。

使用法

1. ドキュメントのアップロード:

   • ファイル アップロード ウィジェットを使用して、比較のために 2 つのドキュメントをアップロードします
   • サポートされている形式: PDF、DOCX、TXT
   • 処理の確認を待ちます

2. ドキュメントを比較します:

   • 両方のドキュメントをアップロードしたら、比較を開始できます
   • 必要に応じて、カスタム比較クエリを入力します
   • 「ドキュメントを比較」をクリックして分析を生成します

3. 結果の表示:

   • 比較結果は 3 つのタブに表示されます。
     • 比較：総合分析
     • 文書 1 の抜粋: 最初の文書の関連部分
     • 文書 2 の抜粋: 2 番目の文書の関連部分
   • 完全な結果を JSON ファイルとしてダウンロードする

4. リセット:

   • 現在のセッションをクリアして最初からやり直すには、「リセット」ボタンを使用します。

APIエンドポイント

FastAPI バックエンドは次のエンドポイントを提供します。

POST/アップロード

単一のドキュメントをアップロードして処理します。

• リクエスト: ファイルを含むマルチパート フォーム データ
• 応答: ドキュメント ID と成功メッセージ

POST /比較

2 つの文書を比較します。

• パラメータ:
  • doc1_id: 最初のドキュメントのID
  • doc2_id: 2 番目のドキュメントの ID
  • クエリ: オプションのカスタム比較クエリ
• 回答: 分析と関連する抜粋を含む比較結果

構成

config.pyの主要な構成設定:

• CHUNK_SIZE : ドキュメントのチャンクのサイズ (デフォルト: 1000)
• CHUNK_OVERLAP : チャンク間のオーバーラップ (デフォルト: 200)
• SUPPORTED_FILES : サポートされているファイルタイプのリスト
• CHROMA_PERSIST_DIRECTORY : ベクター データベース ストレージの場所

技術的な詳細

文書処理

• RecursiveCharacterTextSplitter を使用してドキュメントをチャンクに分割する
• テキストは前処理されて特殊文字が削除され、空白が正規化されます。
• 各チャンクは Azure OpenAI 埋め込みを使用して埋め込まれます
• チャンクはドキュメントのメタデータとともに ChromaDB に保存されます

RAGの実装

• 類似性検索を使用して、両方のドキュメントから関連するチャンクを見つけます。
• ChromaDB の検索機能を使用してハイブリッド検索を実装します。
• 比較分析を生成するためのカスタム プロンプト
• 構成可能な取得パラメータ

ベクトルストレージ

• ChromaDB は効率的なベクトルの保存と取得に使用されます
• 永続ストレージにより、処理されたドキュメントのキャッシュが可能になります
• ドキュメント固有の検索のためのメタデータ フィルタリング

エラー処理

このシステムには、以下に対する包括的なエラー処理が含まれています。

• サポートされていないファイル形式
• 処理の失敗
• API通信エラー
• 無効なドキュメント ID

今後の改善点

潜在的な機能強化:

• より多くのファイル形式のサポート
• 高度な再ランキングアルゴリズム
• マルチモーダルドキュメントの比較
• ユーザー認証
• 比較履歴
• より洗練されたチャンキング戦略
• 高度なキャッシュメカニズム

貢献する

貢献は大歓迎です！お気軽にプルリクエストを送信してください。

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。