AskyourDocuments

書類に質問してみませんか？

ドキュメント QA システムへようこそ!このリポジトリには、ドキュメントについて質問し、その内容に基づいて回答を得ることができるシステムのコードが含まれています。 PDF、Word、Excel、PowerPoint、テキストファイル、さらには画像など、幅広いドキュメント形式をサポートしています。

特徴

• PDF、Word、Excel、PowerPoint、テキスト ファイル、画像など、さまざまなドキュメント形式をサポート
• ? Hugging Face Transformers ライブラリを使用してドキュメント チャンクの埋め込みを作成します
• ? FAISS ライブラリを使用してこれらの埋め込みのインデックスを作成し、効率的な類似性検索を可能にします
• ユーザーがドキュメントについて質問し、ドキュメントの内容に基づいて回答を得ることができます。
• ⚡️ マルチプロセッシングを使用してインデックスの作成を並列化し、パフォーマンスを向上させます。

?要件

• Python 3.6以降
• 次の Python パッケージ:
  • 変圧器
  • ラングチェーン
  • フィッツ
  • 枕
  • テキスト
  • パンダ
  • Python-pptx
  • 同時先物
  • opencv-python (イメージサポート用)

?使用法

1. このリポジトリのクローンをローカル マシンに作成します。

git clone https://github.com/AiGptCode/AskyourDocuments.git

2. 必要な Python パッケージをインストールします。

pip install transformers langchain fitz pillow textract pandas python-pptx opencv-python concurrent-futures

3. Hugging Face API キーを環境変数として設定します。

 export HUGGINGFACE_API_TOKEN=your-api-key

4. main.pyスクリプトを実行し、ドキュメントを含むディレクトリへのパスを入力します。

python AskyourDocuments.py

5. 書類について質問し、その書類の内容に基づいて回答を得ます。

注: 検索に画像を含める場合は、画像がサポートされている形式 (JPEG、PNG など) であり、他のドキュメントと同じディレクトリにあることを確認してください。

?貢献する

このプロジェクトに貢献したい場合は、次の手順に従ってください。

1. このリポジトリを自分の GitHub アカウントにフォークします。
2. 変更に合わせて新しいブランチを作成します。

git checkout -b my-feature-branch

3. 変更を加えてコミットします。

git commit -am ' Add some feature '

4. 変更をフォークにプッシュします。

git push origin my-feature-branch

5. 元のリポジトリに対してプル リクエストを開きます。

?ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。

?謝辞

• 事前トレーニングされたモデルとトークナイザーを提供するための Hugging Face Transformers ライブラリ
• 効率的な類似性検索と密なベクトルのクラスタリングを提供する FAISS ライブラリ
• 言語モデルを作成および操作するためのユーティリティを提供するlangchainライブラリ
• PDF ファイルを操作するためのユーティリティを提供するfitzライブラリ
• 画像ファイルを操作するためのユーティリティを提供するPillowライブラリ
• さまざまなファイル形式からテキストを抽出するためのユーティリティを提供するtextractライブラリ
• Python で表形式のデータを操作するためのユーティリティを提供するpandasライブラリ
• PowerPoint ファイルを操作するためのユーティリティを提供するpython-pptxライブラリ
• 呼び出し可能オブジェクトを非同期に実行するための高レベルのインターフェイスを提供するconcurrent-futuresライブラリ
• 画像およびビデオ データを操作するためのユーティリティを提供するopencv-pythonライブラリ (画像サポート用)