stack retrieval augmented generation
v2.1.0
Следующая развертываемая архитектура автоматизирует развертывание образца шаблона искусственного интеллекта в IBM Cloud, включая всю базовую инфраструктуру IBM Cloud и WatsonX. В этой архитектуре реализованы лучшие практики развертывания шаблонов искусственного интеллекта watsonx gen в IBM Cloud, как описано в эталонной архитектуре.
Эта развертываемая архитектура обеспечивает комплексную основу для доверия, наблюдаемости, безопасности и соответствия нормативным требованиям. Архитектура настраивает учетную запись IBM Cloud в соответствии с настройками соответствия. Он также развертывает службы управления ключами и секретами, а также инфраструктуру для поддержки конвейеров непрерывной интеграции (CI), непрерывной доставки (CD) и непрерывного соответствия (CC) для безопасного управления жизненным циклом приложений. Он также развертывает пакет сервисов WatsonX и IBM Cloud Elasticsearch для упрощения использования шаблона RAG. Эти конвейеры упрощают развертывание приложения, проверку на наличие уязвимостей и возможность аудита, а также помогают обеспечить безопасное и надежное развертывание генеративных приложений ИИ в IBM Cloud.
Для этой развертываемой архитектуры доступны два варианта:
Базовый вариант:
Стандартный вариант:
Эта развертываемая архитектура предназначена для демонстрации полностью автоматизированного развертывания приложения дополненной генерации с помощью IBM Cloud Projects. Он обеспечивает гибкую и настраиваемую основу для ваших собственных приложений watsonx в IBM Cloud. В этой архитектуре по умолчанию развертывается следующий пример приложения.
Используя эту архитектуру, вы можете ускорить развертывание и адаптировать его в соответствии с потребностями вашего бизнеса и целями предприятия.
Эта архитектура может помочь вам достичь следующих целей:
Прежде чем развертывать развертываемую архитектуру, убедитесь, что вы выполнили следующие действия:
Важный
Вы должны использовать ключ API, связанный с пользователем. Вы не можете использовать ключи идентификатора службы или доверенные профили.
Скопируйте значение ключа API. Это понадобится вам в следующих шагах.
В тестовых или ознакомительных средах вы можете предоставить роль администратора следующим службам.
User API key creator , поскольку она является обязательной для успешного развертывания кластера OpenShift.Чтобы ограничить доступ к производственной среде, обратитесь к минимальному уровню разрешений на вкладке разрешений этой развертываемой архитектуры.
gpg --gen-key без парольной фразы (если срок действия еще не истек, вы можете использовать ранее сгенерированный ключ).gpg --export-secret-key <email address> | base64 . Дополнительные сведения о хранении ключа см. в разделе Создание ключа GPG.Добавьте имя и описание.
Выберите регион и группу ресурсов для проекта. Например, в целях оценки вы можете выбрать ближайший к вам регион и группу ресурсов по умолчанию.
Дополнительные сведения о структурах корпоративных учетных записей см. в официальном документе об учетных записях центра администрирования.
Введите имя конфигурации. Например, «RAG», «dev» или «prod». Это имя может помочь вам позже соответствовать цели развертывания.
Теперь вы можете создать свою конфигурацию, задав переменные.
На панели «Безопасность» выберите метод аутентификации, который вы хотите использовать для развертывания вашей архитектуры.
Добавьте ключ API из предварительных требований в разделе «Перед началом».
На вкладке Безопасность > Аутентификация в разделе Настройка выберите ключ API.
Введите значения для обязательных полей на вкладке «Обязательно» .
Просмотрите значения необязательных полей на вкладке «Необязательно» :
signing_key из предварительных условий, описанных в разделе «Перед началом».Нажмите Сохранить . После проверки входных значений кнопка изменится на Просмотр конфигураций стека .
Вы можете развернуть многоуровневую развертываемую архитектуру через консоль IBM Cloud двумя способами:
С помощью автоматического развертывания : метод развертывания может быть полезен для демонстрационных и непроизводственных сред. При автоматическом развертывании все конфигурации членов стека проверяются, а затем утверждаются и развертываются.
Вы можете проверить настройку автоматического развертывания для вашего проекта, нажав «Управление» > «Настройки» . Включив автоматическое развертывание, вы включаете этот параметр для всех конфигураций в проекте.
Индивидуально путем развертывания конфигурации каждого участника. Ручной метод подходит для проектов, в которых используются производственные среды. Вы можете просмотреть изменения в конфигурации каждого участника перед запуском автоматизации.
Кончик
После утверждения конфигурации вы можете получить сообщение об ошибке «Невозможно проверить конфигурацию». Чтобы решить проблему, обновите браузер.
Вы можете увидеть уведомления «Доступна новая версия» в столбце « Требует внимания» в конфигурации вашего проекта. Вы можете игнорировать эти сообщения, поскольку они не мешают вам развернуть стек.
Щелкните значок «Параметры» рядом с пунктом «Просмотр конфигураций стека» и нажмите «Проверить» .
Если в вашем проекте отключен параметр автоматического развертывания , проверке подлежат только готовые конфигурации участников.
В своем проекте перейдите на вкладку «Конфигурации» .
Если первая конфигурация члена стека ( Account Infrastructure Base ) не помечена как «Готова к проверке» , обновите страницу в браузере.
Нажмите «Проверить» в статусе «Черновик» в строке Account Infrastructure Base .
Утвердите конфигурацию и нажмите «Развернуть» после успешного завершения проверки.
После развертывания исходной конфигурации участника вы можете одновременно проверить и развернуть оставшуюся конфигурацию участника. Повторите эти шаги развертывания для каждой конфигурации участника в архитектуре.
Развертываемая архитектура шаблона извлечения дополненной генерации теперь развернута в целевой учетной записи.
После развертывания архитектуры пример приложения запускается в только что предоставленной службе DevOps.
Чтобы отслеживать сборку и развертывание приложения, выполните следующие действия:
resource_group_name развертываемой архитектуры.Workload - Sample RAG App Configuration .Outputs » URL-адрес развернутого приложения указан под выходными данными sample_app_public_url . Чтобы минимизировать затраты, автоматизация развертывает пробный тарифный план Secrets Manager. Вы можете создать только один пробный экземпляр Secrets Manager. Вы можете развернуть экземпляр Secrets Manager стандартного плана из дополнительных настроек стека.
Чтобы это исправить, удалите пробный экземпляр. После удаления также удалите службу из состояния восстановления.
В IBM Cloud при удалении ресурса он не исчезает сразу. Вместо этого он переходит в состояние восстановления, в котором остается на короткое время (обычно 7 дней), прежде чем будет окончательно удален. В состоянии восстановления вы можете восстановить ресурс, если это необходимо.
Выполните следующие команды IBM Cloud CLI, чтобы удалить службу из состояния восстановления.
Первая команда выводит список всех ресурсов, находящихся в состоянии восстановления.
# List all the resources in reclamation state with its reclamation ID
ibmcloud resource reclamationsНайдите идентификатор восстановления службы Secrets Manager. Используйте этот идентификатор в следующей команде.
ibmcloud resource reclamation-delete < reclamation-id >Эта конкретная проблема может возникнуть, если ваше развертывание ALM или цепочки инструментов прошло более 14 дней, а DA конфигурации приложения был неразвернут или повторно развернут. Это связано с тем, что служба непрерывной доставки требуется для создания и удаления свойств конвейера, а развертывание происходит, когда служба компакт-диска может не существовать. Мы работаем над долгосрочным решением этой ошибки, но пока ее можно смягчить, обеспечив наличие службы компакт-дисков в группе ресурсов, где, как ожидается, будут создаваться цепочки инструментов.
Проблема возникает в развертываемой архитектуре Workload - Sample RAG App Configuration как в вариантах Code Engine, так и в OCP. Ошибка обычно содержит следующее сообщение:
"errors": [
{
"code": 403,
"message": "Continuous Delivery service required"
}
]
С этой архитектурой возможны многие настройки. Это некоторые распространенные варианты.
Каждая конфигурация элемента включает большое количество входных параметров. Вы можете отредактировать конфигурацию, чтобы изменить значения по умолчанию.
Например, редактируя конфигурацию участника, вы можете выполнить следующие действия:
Чтобы изменить конфигурацию участника, выберите «Редактировать» на значке «Параметры» в строке конфигурации участника.
Вы можете удалить из стека конфигурацию-член, от которой не зависят другие конфигурации.
В этой архитектуре можно удалить следующие конфигурации:
Чтобы удалить конфигурацию участника, выберите «Удалить из стека» на значке «Параметры» в строке конфигурации участника.
Вы можете добавить или удалить входные и выходные переменные на уровне стека, выполнив следующие действия:
Вы можете выборочно предоставлять ресурсы наблюдения, такие как маршруты и цели отслеживания активности, а также экземпляры облачного мониторинга, выполнив следующие действия:
cloud_logs_provision ): установите этот параметр, чтобы подготовить или пропустить подготовку экземпляра IBM Cloud Logs.cloud_monitoring_provision ): установите этот параметр, чтобы подготовить или пропустить подготовку экземпляра облачного мониторинга IBM.enable_at_event_routing_to_cos_bucket ): установите этот параметр, чтобы включить или отключить маршрутизацию событий из трекера активности в сегмент хранилища объектов.enable_at_event_routing_to_cloud_logs ): установите этот параметр, чтобы включить или отключить маршрутизацию событий из трекера активности в журналы Cloud.После изменения развертываемой архитектуры в проектах вы можете поделиться ею с другими через частный каталог IBM Cloud. Чтобы предоставить общий доступ к развертываемой архитектуре, выполните действия, описанные в разделе Общий доступ к развертываемой архитектуре на предприятии.
Вы можете использовать код этого примера автоматизации в качестве руководства по настройке примера приложения в соответствии с вашими требованиями. Код доступен по адресу https://github.com/terraform-ibm-modules/terraform-ibm-rag-sample-da.
Чтобы использовать собственное приложение, удалите конфигурацию Workload - Sample RAG App Configuration из стека. Эта конфигурация участника относится только к примеру приложения по умолчанию.
Очистка конфигурации
Этот шаг не является обязательным, если вы планируете уничтожить все ресурсы Watson. Артефакты, созданные приложением, удаляются при отмене развертывания ресурсов Watson.
Выполните действия, описанные в файле cleanup.md, чтобы удалить конфигурацию примера приложения.
Удаление ресурсов, созданных цепочкой инструментов CI
Следующие ресурсы, созданные цепочкой инструментов, не уничтожаются при отмене развертывания стека в Project.
Удалить проект.
Чтобы отменить развертывание инфраструктуры, созданной развертываемой архитектурой, выполните действия, описанные в разделе Удаление проекта в документации IBM Cloud.
