building qa app with aws bedrock kendra s3 and streamlit

Einführung

Dieses Repository enthält ein praktisches Beispiel für die Erstellung einer Frage-und-Antwort-App, mit der Sie mithilfe der GenAI-AWS-Dienste Fragen zu Ihren privaten Dokumenten beantworten können.

Zuvor habe ich eine Q&A-App mit Azure OpenAI GPT-4 und Pinecone erstellt (Sie finden sie hier) .
In diesem Repository werde ich genau die gleiche App erstellen, aber nur AWS-Dienste verwenden (+ Streamlit für die Benutzeroberfläche).

Genauer gesagt verfügt die App über die folgende Architektur:

Und es nutzt die folgenden Technologien:

• AWS-Grundgestein
• AWS Kendra
• AWS S3
• Streamlit

Inhalt

Dieses Repository enthält die folgende App:

• Eine Streamlit App, die es uns ermöglicht, die in AWS Kendra gespeicherten Daten mithilfe eines der verfügbaren AWS Bedrock LLM-Modelle abzufragen.

So funktioniert die Q&A-App

• Die privaten Dokumente werden in einem S3-Bucket gespeichert.

• Der Kendra Index ist für die Verwendung eines S3-Anschlusses konfiguriert. Der Index überprüft den S3-Bucket alle N Minuten auf neue Inhalte. Wenn im Bucket neuer Inhalt gefunden wird, wird dieser automatisch analysiert und in der Kendra-Datenbank gespeichert.

• Wenn ein Benutzer eine Abfrage über die Streamlit -App ausführt, führt die App die folgenden Schritte aus:

  • Rufen Sie die relevanten Informationen für die angegebene Abfrage von Kendra ab.
  • Stellt die Eingabeaufforderung zusammen.
  • Sendet die Eingabeaufforderung an einen der verfügbaren Bedrock-LLMs und empfängt die Antwort, die zurückkommt.

Jupyter-Notizbücher

• Wenn Sie statt der Streamlit -App lieber Schritt für Schritt die Anweisungen zum Einrichten des RAG-Musters ausführen möchten, verfügen Sie über ein Jupyter-Notizbuch ( /notebooks/rag-with-langchain.ipynb ), das Ihnen genau dies ermöglicht.

• Die Streamlit App nutzt intensiv die LangChain -Bibliothek, um das RAG-Muster zu implementieren. Wenn Sie lieber keine Bibliotheken von Drittanbietern verwenden und das RAG-Muster ausschließlich mit der boto3 -Bibliothek einrichten möchten, verfügen Sie über ein zweites Jupyter-Notebook ( /notebooks/rag-with-only-boto3.ipynb ), mit dem Sie dies tun können .

AWS-Infrastruktur

Im Ordner /infra finden Sie eine Reihe von Terraform-Dateien, die alle AWS-Dienste erstellen, die für das ordnungsgemäße Funktionieren der App erforderlich sind.

Diese Terraform-Dateien erstellen die folgenden Ressourcen:

• Ein S3-Bucket zur Unterbringung unserer privaten Dokumente.
• Ein Kendra-Index mit einem S3-Anschluss.
• Eine IAM-Rolle mit den erforderlichen Berechtigungen, damit alles funktioniert.

Voraussetzungen

Es gibt einige Voraussetzungen, die Sie beachten sollten, bevor Sie versuchen, die Anwendung auszuführen.

AWS Bedrock-LLMs von Drittanbietern

• Standardmäßig haben Sie in Bedrock nur Zugriff auf Amazon Titan LLM. Um eines der LLMs von Drittanbietern (Anthropic- und AI21 Labs-LLM-Modelle) nutzen zu können, müssen Sie sich separat für den Zugriff registrieren.

Im Bereich „Modellzugriff“ erhalten Sie einen Überblick, auf welche LLMs Sie Zugriff haben und auf welche nicht.

Um diese Anwendung vollständig nutzen zu können, müssen Sie Zugriff auf alle AWS Bedrock-LLMs von Drittanbietern haben .

boto3-Anmeldeinformationen

• Innerhalb der App ist boto3 so eingerichtet, dass es die AWS-Anmeldeinformationen aus dem default der AWS-Konfigurationsdatei auf Ihrem lokalen Computer abruft.
  Sie können diese Konfiguration jederzeit an Ihre Vorlieben anpassen, sei es durch die Verwendung von Umgebungsvariablen, die Übergabe von Anmeldeinformationen als Parameter oder den Einsatz anderer geeigneter Methoden.

Eine Übersicht über die verschiedenen Ansätze zur Konfiguration boto3 Anmeldeinformationen finden Sie unter folgendem Link:

• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

So führen Sie die App aus

Bevor Sie versuchen, die App auszuführen, lesen Sie den Abschnitt „AWS-Infrastruktur“ und „ Voraussetzungen“ .

Führen Sie die App lokal aus

Legen Sie die erforderlichen Umgebungsvariablen fest

Das Repository verfügt über eine .env Datei, die die Umgebungsvariablen enthält, die die App für eine erfolgreiche Ausführung benötigt:

 KENDRA_INDEX='<kendra-index>'
AWS_BEDROCK_REGION='<bedrock-region>'
AWS_KENDRA_REGION='<region-where-kendra-index-is-deployed>'

Ändern Sie die Werte entsprechend.

Abhängigkeiten wiederherstellen

pip install -r requirements.txt

Führen Sie die App aus

Wenn Sie Streamlit installieren, wird auch ein Befehlszeilentool (CLI) installiert. Der Zweck dieses Tools besteht darin, Streamlit Apps auszuführen.
Um die App auszuführen, führen Sie einfach den folgenden Befehl aus:

streamlit run app.py

Führen Sie die App mit Docker aus

Dieses Repository verfügt über eine Dockerfile für den Fall, dass Sie die App lieber auf einem Container ausführen möchten.

Erstellen Sie das Bild

docker build -t aws-rag-app .

Führen Sie es aus

 docker run -p 5050:5050 
        -e KENDRA_INDEX="<kendra-index>" 
        -e AWS_BEDROCK_REGION="<bedrock-region>" 
        -e AWS_KENDRA_REGION="<region-where-kendra-index-is-deploy>" 
        -e AWS_ACCESS_KEY_ID="<aws-access-key>" 
        -e AWS_SECRET_ACCESS_KEY="<aws-secret-access-key>" 
        aws-rag-app

Ausgabe

Änderungsprotokoll

10.02.2023

• app.py wurde aktualisiert, um es mit den neuesten Bedrock-Änderungen kompatibel zu machen.
• Aktualisierte Jupyter-Notebooks, um sie mit den neuesten Bedrock-Änderungen kompatibel zu machen.
• boto3 und botocore3 Raddateien entfernt. Ein mit Bedrock kompatibles boto3 ist endlich öffentlich verfügbar.