building qa app with aws bedrock kendra s3 and streamlit

Введение

Этот репозиторий содержит практический пример создания приложения вопросов и ответов, способного отвечать на вопросы, связанные с вашими личными документами, с использованием сервисов GenAI AWS.

Ранее я создал приложение вопросов и ответов, используя Azure OpenAI GPT-4 и Pinecone (вы можете найти его здесь) .
В этом репозитории я создам точно такое же приложение, но используя только сервисы AWS (+ Streamlit для пользовательского интерфейса).

Если быть точнее, приложение имеет следующую архитектуру:

И он использует следующие технологии:

• AWS Основа
• АВС Кендра
• АВС С3
• Стримлит

Содержание

Этот репозиторий содержит следующее приложение:

• Приложение Streamlit , которое позволяет нам запрашивать данные, хранящиеся в AWS Kendra, с использованием одной из доступных моделей AWS Bedrock LLM.

Как работает приложение вопросов и ответов

• Личные документы хранятся в корзине s3.

• Индекс Кендры настроен на использование соединителя s3. Индекс проверяет корзину s3 каждые N минут на наличие нового контента. Если в корзине обнаруживается новый контент, он автоматически анализируется и сохраняется в базе данных Kendra.

• Когда пользователь запускает запрос через приложение Streamlit , приложение выполняет следующие шаги:

  • Получите соответствующую информацию для данного запроса от Кендры.
  • Собирает подсказку.
  • Отправляет запрос одному из доступных Bedrock LLM и получает ответ.

Блокноты Jupyter

• Если вместо использования приложения Streamlit вы предпочитаете пошагово выполнять инструкции по настройке паттерна RAG, у вас есть блокнот Jupyter ( /notebooks/rag-with-langchain.ipynb ), который точно позволит вам это сделать.

• Приложение Streamlit активно использует библиотеку LangChain для реализации шаблона RAG. Если вы предпочитаете не использовать какие-либо сторонние библиотеки и настраивать шаблон RAG исключительно с помощью библиотеки boto3 , у вас есть второй блокнот Jupyter ( /notebooks/rag-with-only-boto3.ipynb ), который позволит вам это сделать. .

Инфраструктура AWS

В папке /infra вы найдете ряд файлов Terraform, которые создадут все сервисы AWS, необходимые для правильного функционирования приложения.

Эти файлы Terraform создадут следующие ресурсы:

• Корзина s3 для хранения наших личных документов.
• Индекс Kendra с разъемом s3.
• Роль IAM с необходимыми разрешениями, чтобы все работало.

Предварительные условия

Есть несколько предварительных условий, о которых вам следует знать, прежде чем пытаться запустить приложение.

Сторонние программы LLM AWS Bedrock

• По умолчанию в Bedrock у вас будет доступ только к Amazon Titan LLM. Чтобы использовать любые сторонние LLM (модели LLM Anthropic и AI21 Labs), вам необходимо зарегистрироваться для доступа отдельно.

В разделе «Доступ к модели» у вас есть обзор того, к каким LLM у вас есть доступ, а к каким нет.

Чтобы в полной мере использовать это приложение, у вас должен быть доступ ко всем сторонним программам LLM AWS Bedrock .

учетные данные boto3

• В приложении boto3 настроен на получение учетных данных AWS из профиля default файла конфигурации AWS на вашем локальном компьютере.
  Не стесняйтесь настраивать эту конфигурацию в соответствии со своими предпочтениями, независимо от того, включает ли это использование переменных среды, передачу учетных данных в качестве параметров или использование других подходящих методов.

Для обзора нескольких подходов к настройке учетных данных boto3 перейдите по следующей ссылке:

• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

Как запустить приложение

Прежде чем пытаться запустить приложение, прочтите разделы «Инфраструктура AWS» и «Предварительные требования» .

Запустите приложение локально

Установите необходимые переменные среды

В репозитории есть файл .env , содержащий переменные среды, необходимые приложению для успешной работы:

 KENDRA_INDEX='<kendra-index>'
AWS_BEDROCK_REGION='<bedrock-region>'
AWS_KENDRA_REGION='<region-where-kendra-index-is-deployed>'

Измените значения соответствующим образом.

Восстановить зависимости

pip install -r requirements.txt

Запустите приложение

Когда вы устанавливаете Streamlit , также устанавливается инструмент командной строки (CLI). Целью этого инструмента является запуск приложений Streamlit .
Чтобы запустить приложение, просто выполните следующую команду:

streamlit run app.py

Запустите приложение с помощью Docker

В этом репозитории есть Dockerfile на случай, если вы предпочитаете запускать приложение в контейнере.

Создайте образ

docker build -t aws-rag-app .

Запусти это

 docker run -p 5050:5050 
        -e KENDRA_INDEX="<kendra-index>" 
        -e AWS_BEDROCK_REGION="<bedrock-region>" 
        -e AWS_KENDRA_REGION="<region-where-kendra-index-is-deploy>" 
        -e AWS_ACCESS_KEY_ID="<aws-access-key>" 
        -e AWS_SECRET_ACCESS_KEY="<aws-secret-access-key>" 
        aws-rag-app

Выход

Журнал изменений

02.10.2023

• Обновлен app.py , чтобы он был совместим с последними изменениями Bedrock.
• Обновлены блокноты Jupyter, чтобы сделать их совместимыми с последними изменениями Bedrock.
• Удалены файлы колес boto3 и botocore3 . boto3 , совместимый с Bedrock, наконец-то стал общедоступным.