упрощенная корректирующая ветошь

Создайте упрощенный помощник по корректировке RAG с помощью Amazon Bedrock.

Обзор

Amazon Bedrock — это полностью управляемый сервис, который делает доступными для вашего использования высокопроизводительные базовые модели (FM) от ведущих стартапов в сфере искусственного интеллекта и Amazon через единый API. Вы можете выбрать из широкого спектра моделей фундаментов, чтобы найти модель, которая лучше всего подходит для вашего случая использования. Amazon Bedrock также предлагает широкий набор возможностей для создания генеративных приложений ИИ, обеспечивающих безопасность, конфиденциальность и ответственный ИИ. Используя Amazon Bedrock, вы можете легко экспериментировать и оценивать лучшие базовые модели для своих сценариев использования, индивидуально настраивать их с использованием своих данных с помощью таких методов, как точная настройка и поисковая дополненная генерация (RAG), а также создавать агенты, выполняющие задачи с использованием ваших корпоративных систем. и источники данных.

Модели большого языка (LLM) неизбежно демонстрируют галлюцинации, поскольку точность сгенерированных текстов не может быть обеспечена исключительно за счет параметрических знаний, которые они инкапсулируют. Хотя поисковая дополненная генерация (RAG) является практическим дополнением к LLM, она во многом зависит от релевантности извлеченных документов, что вызывает обеспокоенность по поводу того, как модель поведет себя, если поиск пойдет не так.

Передовые методы RAG, такие как Corrective RAG, были предложены для повышения надежности генерации. В CRAG облегченный оценщик поиска предназначен для оценки общего качества полученных документов по запросу, возвращая степень достоверности, на основе которой могут быть инициированы различные действия по извлечению знаний. Поскольку поиск из статических и ограниченных массивов может возвращать только неоптимальные документы, крупномасштабный веб-поиск используется как расширение для улучшения результатов поиска. CRAG работает по принципу «подключи и работай» и может легко сочетаться с различными подходами на основе RAG.

Этот репозиторий содержит код, который проведет вас через процесс создания упрощенного помощника на основе CRAG. Мы рассмотрим два сценария на этапе поиска:

1. (Сценарий 1) В базе знаний находится документ, который точно соответствует указанному запросу.
2. (Сценарий 2) Документ, точно соответствующий указанному запросу, не находится в базе знаний. В результате будет выполнен веб-поиск для получения соответствующих документов.

Для начала

1. Выберите учетную запись AWS, которую будете использовать, и обязательно создайте все ресурсы в этой учетной записи.
2. Определите регион AWS, в котором есть Amazon Bedrock, с помощью Anthropic Claude 3 и Titan Embeddings G1 — текстовых моделей.
3. В этом регионе скопируйте следующий файл в новую или существующую корзину Amazon S3 по вашему выбору. Убедитесь, что AWS CloudFormation может прочитать этот сегмент.
   • wikipedia_search_bedrock_agent.zip
4. Создайте файл слоя Lambda с именем py312_opensearch-py_requests_and_requests-aws4auth.zip используя следующую процедуру, и загрузите его в ту же корзину Amazon S3, что и на шаге 3.
   • В Windows 10 или выше:
     1. Убедитесь, что Python 3.12 и pip установлены и установлены в переменной PATH пользователя.
     2. Загрузите 7-zip и установите его в C:/Program Files/7-Zip/ .
     3. Откройте командную строку Windows.
     4. Создайте новый каталог и cd в него.
     5. Запустите лямбда_слой_файл_создать.bat из этого каталога.
     6. Это создаст файл слоя Lambda с именем py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • В Linux:
     1. Убедитесь, что Python 3.12 и pip установлены и установлены в переменной PATH пользователя.
     2. Откройте командную строку Linux.
     3. Создайте новый каталог и cd в него.
     4. Запустите lambda_layer_file_create.sh из этого каталога.
     5. Это создаст файл слоя Lambda с именем py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Возьмите предоставленный шаблон AWS CloudFormation simple-corrective-rag-cfn.yaml и обновите следующий параметр:
   • DeploymentArtifactsS3BucketName — задайте имя корзины Amazon S3 из шага 3.
6. Создайте стек AWS CloudFormation с обновленным шаблоном.
7. Откройте блокнот Jupyter с именем упрощенный-корректирующий-rag.ipynb , перейдя в консоль экземпляров блокнота Amazon SageMaker и щелкнув ссылку «Открыть Jupyter» на экземпляре с именем упрощенный-crag-instance .

Структура репозитория

• Папка ресурсов, содержащая шаблон AWS CloudFormation и зависимые артефакты.
• Код Python для функции AWS Lambda, которая будет вызываться агентом Bedrock для выполнения веб-поиска. Это также заархивировано в этот файл как зависимый артефакт.
• Папка блокнотов, содержащая все артефакты, связанные с блокнотом Jupyter, над которым вы будете работать.

Безопасность

Для получения дополнительной информации см. ВКЛАД.

Лицензия

Эта библиотека лицензируется по лицензии MIT-0. См. файл ЛИЦЕНЗИИ.