Document Question Answering GenAI

LLMSを使用したドキュメント質問応答

このプロジェクトは、ChromaDBベクターデータベースであるLangchainを使用して、Falcon-7BやDolly-V2-3Bなどの大規模な言語モデル（LLMS）を搭載したドキュメント質問応答アプリを構築します。それはRiremlitに展開されています。

アプリへのリンク：https：//document-question-answering-kedarghule.streamlit.app/

注：retrylitのメモリの問題により、アプリは時々動作しない可能性があり、エラーが発生する場合があります。これは、Streamlitによる1GBのメモリ制限によるものです。アプリの仕組みを示すビデオを次に示します：https：//drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view? sharing

document.question.answeing.by.kedar.ghule .-

問題ステートメント

今日の情報過多の時代において、個人と組織は、膨大な量のテキストデータから関連情報を効率的に抽出するという課題に直面しています。従来の検索エンジンは、ユーザーが提起する特定の質問に正確でコンテキストを意識した回答を提供することに不足していることがよくあります。その結果、正確なドキュメント質問（DQA）システムを有効にするための高度な自然言語処理（NLP）技術の必要性が高まっています。

このプロジェクトの目標は、LangchainプラットフォームとChromadB Vectorデータベースを利用して、Falcon-7BやDolly-V2-3Bなどの大規模な言語モデル（LLMS）を搭載したドキュメント質問回答アプリを開発することです。 LLMSの機能を活用することにより、このアプリは、特定のドキュメントコーパス内の質問に対する正確で包括的な回答をユーザーに提供することを目的としています。

方法論

• ドキュメントの読み込み：アプリは、 .txtファイルと.docxファイルのアップロードをサポートしています。アップロードすると、 .docxファイルは.txtファイルに変換されます。 LangChainを使用して、ドキュメントはTextLoaderを使用してロードされます。
• テキストの分割：次に、テキストを文字で再帰的に分割します。このために、recursiveCharacterTextSplitterを使用します。このテキストスプリッターは、一般的なテキストに推奨されるものです。チャンクサイズは、セパレーターのリストと同様に指定されています。
• 埋め込みの生成：LangchainのHuggingfaceMbeddings（）クラスは、MPNETベース-V2モデル、より具体的にはMPNETベース-V2モデルを埋め込むempent_transformersを使用します。
• ベクトルデータベース：ChromADBを使用したベクトルストアを使用して、埋め込みデータを保存し、ベクトル検索操作を実行します。
• コンテキスト検索：ユーザーの質問に応じて、質問に答えるための最も適切なコンテキストを取得するために、ベクトルデータベースで類似性検索が実行されます。
• プロンプトエンジニアリング：上記のコンテキストと、ApproPiateプロンプトとユーザーの質問が作成されます。
• LLMSを使用した推論：ユーザーの選択に応じて、推論にはFalcon-7BまたはDolly-V2-3Bを使用します。エンジニアリングプロンプトをモデル広告に渡し、モデルの応答を表示します。