genai knowledge capture
1.0.0
Это экспериментальное решение объясняет потенциальное решение, которое можно использовать для сбора знаний племени посредством записей голоса старшего сотрудника компании. В нем описываются методологии использования сервисов Amazon Transcribe и Amazon Bedrock для систематического документирования и проверки входных данных. Предоставляя структуру для формализации этих неформальных знаний, решение гарантирует их долговечность и применимость для последующих групп сотрудников организации. Это стремление не только обеспечивает постоянное поддержание высокого качества работы, но и повышает эффективность программ обучения за счет включения практических знаний, полученных на основе непосредственного опыта.
Это демонстрационное приложение является проверкой концепции приложения для создания документов с использованием Amazon Transcribe и Amazon Bedrock.
На диаграмме изображена архитектура решения для рабочего процесса, организованного AWS Step Functions в облачном регионе AWS. Рабочий процесс состоит из нескольких шагов, предназначенных для обработки вводимых пользователем данных, с механизмами обработки успешных и неудачных действий на каждом этапе. Ниже приведено описание процесса:
Пользовательский ввод : рабочий процесс инициируется пользовательским вводом для запуска функции preprocess Lambda.
Предварительная обработка : входные данные сначала подвергаются предварительной обработке. В случае успеха он переходит к этапу transcribe ; в случае сбоя Amazon SNS отправляет уведомления.
Расшифровка : на этом этапе используются выходные данные предыдущего шага. Успешная расшифровка переходит к этапу проверки, а результаты расшифровки сохраняются в корзине Amazon S3.
Validate : транскрибированные данные проверяются. В зависимости от результата проверки рабочий процесс расходится:
Суммирование : после проверки, если данные успешно суммированы, обобщенный текст сохраняется в корзине Amazon S3. Если это не удается, Amazon SNS отправляет уведомления.
Amazon Bedrock — это основной сервис, поддерживающий функции Lambda проверки и суммирования.
Создать : на этом последнем этапе создается окончательный документ из обобщенного текста. В случае сбоя Amazon SNS отправляет уведомления.
Каждый шаг процесса отмечен путями «Успех» или «Неуспех», что указывает на способность рабочего процесса обрабатывать ошибки на различных этапах. В случае сбоя Amazon SNS используется для отправки уведомлений пользователю.
Рабочий процесс AWS Step Functions действует как центральный оркестратор, гарантируя, что каждая задача выполняется в правильном порядке, и соответствующим образом обрабатывая успех или неудачу каждого шага.
Файл cdk.json сообщает набору инструментов CDK, как выполнять ваше приложение.
Этот проект настроен как стандартный проект Python. Процесс инициализации также создает виртуальную среду внутри этого проекта, хранящуюся в каталоге .venv . Для создания virtualenv предполагается, что на вашем пути есть исполняемый файл python3 (или python для Windows) с доступом к пакету venv . Если по какой-либо причине автоматическое создание virtualenv не удалось, вы можете создать virtualenv вручную.
Чтобы вручную создать виртуальную среду в MacOS и Linux:
$ python3 -m venv .venvПосле завершения процесса инициализации и создания виртуального окружения вы можете использовать следующий шаг для активации вашего виртуального окружения.
$ source .venv/bin/activateЕсли вы используете платформу Windows, вы должны активировать virtualenv следующим образом:
% .venvScripts activate.batПосле активации virtualenv вы можете установить необходимые зависимости.
$ pip install -r requirements.txt Чтобы добавить дополнительные зависимости, например другие библиотеки CDK, просто добавьте их в файл setup.py и повторно запустите команду pip install -r requirements.txt .
На этом этапе вы можете синтезировать шаблон CloudFormation для этого кода.
$ cdk synth Чтобы добавить дополнительные зависимости, например другие библиотеки CDK, просто добавьте их в файл setup.py и повторно запустите команду pip install -r requirements.txt .
Вам нужно будет запустить его, если вы впервые запускаете cdk в определенной учетной записи и регионе.
$ cdk bootstrap
После загрузки вы можете приступить к развертыванию cdk.
$ cdk deploy
Если вы развертываете его впервые, процесс создания нескольких образов Docker в ECS (Amazon Elastic Container Service) может занять примерно 30–45 минут. Пожалуйста, будьте терпеливы, пока все не будет завершено. После этого начнется развертывание стека документов, что обычно занимает около 5–8 минут.
После завершения процесса развертывания вы увидите выходные данные cdk в терминале, а также сможете проверить статус в консоли CloudFormation.
Чтобы удалить компакт-диск после завершения его использования, чтобы избежать будущих затрат, вы можете либо удалить его через консоль, либо выполнить следующую команду в терминале.
$ cdk destroyВам также может потребоваться вручную удалить корзину S3, созданную cdk. Обязательно удалите все сгенерированные ресурсы, чтобы избежать затрат.
cdk ls выводит список всех стеков в приложенииcdk synth генерирует синтезированный шаблон CloudFormationcdk deploy разверните этот стек в своей учетной записи/регионе AWS по умолчанию.cdk diff сравнить развернутый стек с текущим состояниемcdk docs открыть документацию CDKcdk destroy dstroys один или несколько указанных стеков code # Root folder for code for this solution
├── lambdas # Root folder for all lambda functions
│ ├── preprocess # Lambda function that processes user input, and outputs audio files uris for Amazon Transcribe
│ ├── transcribe # Lambda function that triggers Amazon Transcribe batch transcription
│ ├── validate # Lambda function that analyzes answers from Amazon Transcribe using LLMs from Amazon Bedrock
│ ├── summarize # Lambda function that summarizes on-topic texts from Amazon Transcribe using LLMs from Amazon Bedrock
│ └── generate # Lambda function that generates documents from the summary.
└── code_stack.py # Amazon CDK stack that deploys all AWS resources
Чтобы адаптировать приложение DocGen для включения ваших собственных данных, необходимо выполнить следующие шаги:
После развертывания инфраструктура AWS CDK облегчит автоматическую передачу аудиофайлов в назначенную корзину Amazon S3. Впоследствии можно инициировать выполнение пошаговой функции AWS, чтобы начать этап обработки.
После развертывания решения вы можете подписаться на электронную почту в теме SNS, чтобы получать уведомления.
Пожалуйста, следите за уведомлениями SNS по электронной почте.
Если на каком-либо этапе рабочего процесса StepFunction произошел сбой, вы получите уведомление по электронной почте.
После развертывания вы можете запустить развернутый конечный автомат AWS с помощью следующей команды:
aws stepfunctions start-execution
--state-machine-arn "arn:aws:states:<your aws region>:<your account id>:stateMachine:genai-knowledge-capture-stack-state-machine"
--input "{"documentName": "<your document name>", "audioFileFolderUri": "s3://<your s3 bucket>/assets/audio_samples/what is amazon bedrock/"}"
Для получения дополнительной информации см. ВКЛАД.
Эта библиотека лицензируется по лицензии MIT-0. См. файл ЛИЦЕНЗИИ.
