руководство по созданию описаний продуктов с помощью Amazon Bedrock

Создание описаний продуктов с помощью Bedrock

Это решение содержит бессерверную серверную часть и интерфейсное приложение ReactJS, которое создает описания продуктов на основе изображений и текстового ввода, расширяет и переводит описания продуктов с помощью нового управляемого генеративного сервиса искусственного интеллекта Amazon Bedrock.

Оглавление

1. Обзор
   • Расходы
2. Предварительные условия
3. Шаги развертывания
4. Проверка развертывания
5. Выполнение руководства
6. Следующие шаги
7. Очистка
8. Дополнительные соображения и ограничения

Обзор

Розничные предприятия часто имеют многие тысячи или миллионы продуктов, каждый из которых требует точных и эффективных описаний. У ритейлеров часто уже есть метаданные или изображения этих продуктов, которые можно использовать в качестве входных данных для генеративных моделей искусственного интеллекта, что значительно ускоряет процесс создания описаний продуктов.

1. Клиент отправляет запрос, включающий входные данные (изображение продукта или базовое описание продукта для улучшения), в REST API Amazon API Gateway.
2. Amazon API Gateway передает запрос в AWS Lambda через интеграцию прокси.
3. При работе с входными изображениями продуктов AWS Lambda вызывает Amazon Rekognition, который использует машинное обучение для обнаружения объектов на изображении. Описания обнаруженных объектов затем можно использовать на последующих этапах создания описания продукта.
4. AWS Lambda вызывает большие языковые модели (LLM), размещенные на Amazon Bedrock, например языковые модели Amazon Titan, для создания описаний продуктов. LLM могут либо улучшать существующие базовые текстовые описания, либо создавать новые описания на основе объектов, обнаруженных Amazon Rekognition.
5. AWS Lambda передает ответ Amazon API Gateway.
6. Наконец, Amazon API Gateway возвращает клиенту HTTP-ответ.

Расходы

Вы несете ответственность за стоимость сервисов AWS, используемых при выполнении настоящего Руководства. По состоянию на ноябрь 2023 года стоимость выполнения данного руководства с настройками по умолчанию на востоке США (Северная Вирджиния) составляет примерно 86 долларов США в месяц при обработке 1000 продуктов каждый месяц.

Это руководство включает в себя сервисы AWS Rekognition, Bedrock, Cognito, Lambda, API Gateway и CloudWatch со следующей стоимостью:

• Распознавание: 0,001 доллара США за изображение (за первый миллион изображений).
• Bedrock: Зависит от модели. Например, стоимость Claude Instant составляет 0,00163 доллара США за 1000 входных токенов и 0,00551 доллара США за 1000 выходных токенов, а модель AI21 Jurassic составляет 0,0125 долларов США за 1000 входных/выходных токенов.
• Cognito: бесплатно для 50 тысяч пользователей (в дальнейшем 0,0055 доллара США за активного пользователя в месяц).
• API-шлюз: 3,50 доллара США за миллион запросов.
• Лямбда: 0,0000166667 долларов США за ГБ в секунду или 0,0005 долларов США за вызов для этого руководства, предполагая, что в худшем случае продолжительность составит 30 секунд.
• Журналы CloudWatch: 0,50 доллара США за собранный ГБ, 0,03 доллара США в месяц за сохраненный ГБ.

Консервативно (ошибаясь в сторону переоценки), используя это решение для создания описаний продуктов на основе входных изображений 1000 раз в месяц (включая создание переводов на испанский, немецкий и французский языки) и предполагая, что в худшем случае 30 секунд на вызов функции Lambda и 1000 токенов ввода/вывода для всех вызовов моделей Claude Instant и Jurassic, стоимость будет примерно следующей:

• Распознавание: 0,001 доллара США за изображение * 1000 изображений = 1,00 доллара США.
• Bedrock: 0,00163 доллара США + 0,00551 доллара США за звонок в Claude Instant * 1000 вызовов = 7,14 доллара США и 0,0125 доллара США * 2 за звонок в Jurassic * 1000 вызовов * 3 языка = 75 долларов США
• Когнито: Бесплатно
• API-шлюз: 3,50 доллара США за миллион вызовов * общее количество вызовов 5000 = 0,0175 доллара США.
• Лямбда: 0,0005 доллара США за вызов * общее количество вызовов 5000 = 2,50 доллара США.
• Журналы CloudWatch: консервативно предположим, что собрано 1 ГБ, стоимость которого составляет примерно 0,53 доллара США за первый месяц.
• ИТОГО: 86 долларов в месяц при 1000 использованиях в месяц (или всего 11 долларов в месяц, если переводы отключены)

Предварительные условия

Вам необходимо установить все необходимые компоненты на локальный компьютер:

1. Питон 3.8 или выше
2. Node.js и npm
3. Установите набор инструментов AWS CDK (команда cdk ), как описано здесь. Вам также потребуется запустить cdk bootstrap , если вы раньше не использовали CDK в своей учетной записи, как описано здесь.
4. Интерфейс командной строки AWS
5. Docker необходим, чтобы позволить CDK упаковать код Lambda вместе с необходимыми зависимостями Python.
6. Проект должен работать в любой среде macOS, Linux или Windows с указанными выше предварительными условиями, однако проект был протестирован в macOS и Linux. Некоторые команды и служебные сценарии предполагают среду оболочки Bash.
7. Claude Instant, Stable Diffusion SDXL0.8 и AI21 Jurassic-2 Mid должны быть включены в Bedrock, как описано здесь.

ПРИМЕЧАНИЕ. Docker должен быть установлен и запущен . Вы можете убедиться, что демон Docker работает, проверив, что такая команда, как docker ps выполняется без ошибок. Если ни один контейнер не запущен, docker ps должен вернуть пустой список контейнеров, например:

 CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES

Шаги развертывания

1. Создайте среду EC2 в AWS Cloud9, запустите экземпляр EC2 в общедоступной подсети и запишите его общедоступный IPv4-адрес (#cloud9_ec2_ip).

2. Измените размер тома EBS, который использует среда (созданная на шаге 1), как минимум до 20 ГБ. По умолчанию для t2.micro имеется 10 ГБ.

3. Клонировать репо:

    git clone https://github.com/aws-solutions-library-samples/guidance-for-generating-product-descriptions-with-bedrock.git
   

4. перейдите в папку репо:

    cd guidance-for-generating-product-descriptions-with-bedrock
   

5. (Необязательно) создайте новую виртуальную среду Python для зависимостей, специфичных для проекта:

    python -m venv .env && source .env/bin/activate
   

6. Установите зависимости CDK:

    pip install -r deployment/requirements.txt
   

7. Начальная загрузка для AWS CDK, если это не было сделано ранее:

    cd deployment && cdk bootstrap
   

8. Разверните бэкэнд:

    cd deployment && cdk deploy
   

9. вернитесь в корень проекта:

    cd ..
   

10. Создайте первоначального пользователя Cognito:

     deployment/create-user.sh <>
    

11. Обновите config.js , указав соответствующие значения из выходных данных стека CDK. Это можно сделать автоматически, запустив

     deployment/update-config.sh
    

12. Установите зависимости внешнего интерфейса:

     cd source/frontend && npm install
    

13. Запустите пример клиентского приложения и запишите номер порта (#web_port), который прослушивает веб-пакет, например. 8080.

     npm start
    

14. Откройте группы безопасности EC2, созданные на шаге 1, добавьте правило для входящего трафика, которое разрешает пользовательский TCP, диапазон портов #web_port, источник «Мой IP», затем сохраните правила.

Проверка развертывания

Развертывание должно пройти успешно, если все приведенные выше команды выполняются без ошибок. Вы можете просмотреть созданные серверные ресурсы, перейдя к сервису CloudFormation в консоли AWS, найдя стек с именем LambdaStack и просмотрев его ресурсы.

Выполнение руководства

Вы можете попробовать демонстрационное веб-приложение, выполнив следующие действия:

1. Проверьте свою электронную почту на предмет временного пароля
2. Получите доступ к приложению из локального браузера по адресу #cloud9_public_ip:#web_port.
3. Следуйте инструкциям, чтобы войти в систему и изменить пароль.
4. Чтобы создать описание продукта из изображения (режим по умолчанию), найдите файл изображения для какого-либо продукта или объекта.
5. После загрузки будет создано описание продукта и его перевод на несколько языков.

Следующие шаги

Дополнительные ресурсы по использованию Amazon Bedrock см. на странице продукта Bedrock.

Очистка

Подготовленную инфраструктуру можно удалить, выполнив следующую команду:

 cd deployment && cdk destroy

Дополнительные соображения и ограничения

• Поскольку этот проект передает изображения в кодировке Base64 в функции Lambda через полезные данные событий, общий входной размер ограничен 6 МБ, что ограничивает размер входных изображений.
• Интеграция прокси-сервера Lambda и API Gateway ограничивает время обработки до 29 секунд на каждый вызов, что может помешать созданию более крупных описаний продуктов. Это ограничение можно обойти, используя альтернативные подходы, такие как потоковая передача ответов через URL-адреса функций Lambda вместо шлюза API.