building qa app with aws bedrock kendra s3 and streamlit

導入

このリポジトリには、GenAI AWS サービスを使用してプライベート ドキュメントに関連する質問に回答できる Q&A アプリを構築する方法に関する実践的な例が含まれています。

以前、Azure OpenAI GPT-4 と Pinecone を使用して Q&A アプリを構築しました(ここで見つけることができます) 。
このリポジトリでは、まったく同じアプリを構築しますが、AWS サービス (+ UI には Streamlit) のみを使用します。

より正確に言うと、アプリには次のアーキテクチャがあります。

そして、次のテクノロジーが使用されています。

• AWS の基盤
• AWS ケンドラ
• AWS S3
• ストリームライト

コンテンツ

このリポジトリには次のアプリが含まれています。

• Streamlitアプリ。利用可能な AWS Bedrock LLM モデルの 1 つを使用して、AWS Kendra に保存されているデータをクエリできます。

Q&A アプリの仕組み

• プライベート ドキュメントは s3 バケットに保存されています。

• Kendra Index は s3 コネクタを使用するように構成されています。インデックスは、新しいコンテンツがないか N 分ごとに s3 バケットをチェックします。バケット内で新しいコンテンツが見つかると、自動的に解析されて Kendra データベースに保存されます。

• ユーザーがStreamlitアプリを通じてクエリを実行すると、アプリは次の手順に従います。

  • 指定されたクエリに関連する情報を Kendra から取得します。
  • プロンプトを組み立てます。
  • 使用可能な Bedrock LLM の 1 つにプロンプ​​トを送信し、返される応答を受け取ります。

ジュピターノートブック

• Streamlitアプリを使用する代わりに、RAG パターンをセットアップする手順を段階的に実行したい場合は、これを正確に実行できる Jupyter ノートブック ( /notebooks/rag-with-langchain.ipynb ) があります。

• Streamlitアプリは、RAG パターンを実装するためにLangChainライブラリを多用します。サードパーティのライブラリを使用せず、 boto3ライブラリのみを使用して RAG パターンをセットアップしたい場合は、これを実行できる 2 番目の Jupyter ノートブック ( /notebooks/rag-with-only-boto3.ipynb ) を使用します。 。

AWSインフラストラクチャ

/infraフォルダーには、アプリが適切に機能するために必要なすべての AWS サービスを作成する一連の Terraform ファイルがあります。

これらの Terraform ファイルは次のリソースを作成します。

• プライベート ドキュメントを格納するための s3 バケット。
• s3 コネクタを備えた Kendra インデックス。
• すべてを機能させるために必要な権限を持つ IAM ロール。

前提条件

アプリケーションを実行する前に、知っておく必要がある前提条件がいくつかあります。

AWS Bedrock サードパーティ LLM

• デフォルトでは、Bedrock では Amazon Titan LLM にのみアクセスできます。サードパーティ LLM (Anthropic および AI21 Labs LLM モデル) を利用するには、個別にアクセス登録する必要があります。

「モデル アクセス」セクションには、アクセスできる LLM とアクセスできない LLM の概要が表示されます。

このアプリケーションを完全に使用するには、すべての AWS Bedrock サードパーティ LLM にアクセスできる必要があります。

boto3 認証情報

• アプリ内では、 boto3はローカル マシン上の AWS 構成ファイルのdefaultプロファイルから AWS 認証情報を取得するように設定されています。
  環境変数を利用したり、資格情報をパラメータとして渡したり、その他の適切な方法を採用したりするなど、この構成を自由に調整して好みに合わせてください。

boto3資格情報を構成するための複数のアプローチの概要については、次のリンクにアクセスしてください。

• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

アプリの実行方法

アプリを実行する前に、 「AWS インフラストラクチャと前提条件」セクションをお読みください。

アプリをローカルで実行する

必要な環境変数を設定する

リポジトリには、アプリが正常に実行するために必要な環境変数を含む.envファイルがあります。

 KENDRA_INDEX='<kendra-index>'
AWS_BEDROCK_REGION='<bedrock-region>'
AWS_KENDRA_REGION='<region-where-kendra-index-is-deployed>'

それに応じて値を変更します。

依存関係を復元する

pip install -r requirements.txt

アプリを実行する

Streamlitインストールすると、コマンドライン (CLI) ツールもインストールされます。このツールの目的は、 Streamlitアプリを実行することです。
アプリを実行するには、次のコマンドを実行するだけです。

streamlit run app.py

Dockerを使用してアプリを実行する

このリポジトリには、コンテナ上でアプリを実行したい場合に備えてDockerfileがあります。

イメージを構築する

docker build -t aws-rag-app .

実行してください

 docker run -p 5050:5050 
        -e KENDRA_INDEX="<kendra-index>" 
        -e AWS_BEDROCK_REGION="<bedrock-region>" 
        -e AWS_KENDRA_REGION="<region-where-kendra-index-is-deploy>" 
        -e AWS_ACCESS_KEY_ID="<aws-access-key>" 
        -e AWS_SECRET_ACCESS_KEY="<aws-secret-access-key>" 
        aws-rag-app

出力

変更履歴

2023 年 10 月 2 日

• 最新の Bedrock の変更と互換性を持たせるためにapp.py更新しました。
• Jupyter Notebook を更新して、Bedrock の最新の変更と互換性を持たせました。
• boto3およびbotocore3ホイール ファイルを削除しました。 Bedrock に対応したboto3がついに公開されました。