以下可部署架構可自動在 IBM Cloud 上部署範例 gen AI 模式,包含所有底層 IBM Cloud 和 WatsonX 基礎架構。此架構實現了 IBM Cloud 上 watsonx gen AI Pattern 部署的最佳實踐,如參考架構中所述。
這種可部署的架構為信任、可觀察性、安全性和法規遵循提供了全面的基礎。此架構配置 IBM Cloud 帳戶以與合規性設定保持一致。它還部署金鑰管理和機密管理服務以及基礎設施來支援持續整合 (CI)、持續交付 (CD) 和持續合規性 (CC) 管道,從而實現應用程式生命週期的安全管理。它還部署 WatsonX 服務套件和 IBM Cloud Elasticsearch 以促進 RAG 模式。這些管道有助於應用程式的部署、檢查漏洞和可審計性,並協助確保在 IBM Cloud 上安全且值得信賴地部署生成式 AI 應用程式。
此可部署架構有兩種變體:
基本變化:
標準差:
此可部署架構旨在展示透過 IBM Cloud Projects 實現檢索增強生成應用程式的完全自動化部署。它為您在 IBM Cloud 上自己的 watsonx 應用程式提供了靈活且可自訂的基礎。此架構預設部署以下範例應用程式。
透過使用此架構,您可以加速部署並對其進行客製化以滿足您的業務需求和企業目標。
該架構可以幫助您實現以下目標:
在部署可部署架構之前,請確保完成以下操作:
重要的
您必須使用與使用者關聯的 API 金鑰。您不能使用服務 ID 金鑰或受信任的設定檔。
複製 API 金鑰的值。您在以下步驟中需要它。
在測試或評估環境中,您可以授予以下服務的管理員角色
User API key creator
角色,因為它對於成功的 OpenShift 叢集部署是必要的。若要限制生產環境的存取範圍,請參閱此可部署架構的權限標籤中的最低權限等級。
gpg --gen-key
建立或取得簽署金鑰(如果未過期,您可以使用先前產生的金鑰)。gpg --export-secret-key <email address> | base64
匯出簽章金鑰gpg --export-secret-key <email address> | base64
。有關儲存金鑰的更多信息,請參閱產生 GPG 金鑰。新增名稱和描述。
為專案選擇區域和資源群組。例如,出於評估目的,您可以選擇距離您最近的區域和預設資源群組。
有關企業帳戶結構的更多信息,請參閱管理中心帳戶白皮書。
輸入配置名稱。例如,「RAG」、「dev」或「prod」。該名稱可以幫助您稍後比對您的部署目標。
現在您可以透過設定變數來建立配置。
從「安全性」面板中,選擇要用於部署架構的身份驗證方法。
新增開始之前中先決條件中的 API 金鑰。
在「配置」部分的「安全性」 > 「驗證」標籤中,選擇 API 金鑰。
從「必填」標籤輸入必填欄位的值。
查看“可選”選項卡中可選字段的值:
signing_key
變數。按一下「儲存」 。驗證輸入值後,按鈕將變更為「查看堆疊配置」 。
您可以透過兩種方式透過 IBM Cloud 控制台部署堆疊式可部署架構:
透過使用自動部署:此部署方法對於演示和非生產環境非常有用。透過自動部署,所有堆疊成員配置都會經過驗證,然後經過批准和部署。
您可以透過點選管理>設定來檢查專案的自動部署設定。透過開啟自動部署,您可以啟用專案中所有配置的設定。
透過單獨部署每個成員配置。手動方法適用於擁有生產環境的項目。您可以在運行自動化之前查看每個成員配置中的變更。
提示
批准配置後,您可能會收到錯誤訊息「無法驗證您的配置」。若要解決該問題,請刷新瀏覽器。
您可能會在專案配置的「需要注意」欄位中看到「新版本可用」通知。您可以忽略這些訊息,因為它們不會阻止您部署堆疊。
按一下查看堆疊配置旁邊的選項圖標,然後按一下驗證。
如果專案中的自動部署設定處於關閉狀態,則僅驗證準備好的成員配置。
在您的專案中,按一下「配置」標籤。
如果堆疊的第一個成員配置 ( Account Infrastructure Base
) 未標記為Ready to validate ,請重新整理瀏覽器中的頁面。
點選Account Infrastructure Base
行中的草稿狀態中的驗證。
批准配置並在驗證成功完成後按一下「部署」 。
部署初始成員配置後,您可以同時驗證和部署剩餘的成員配置。對架構中的每個成員配置重複這些部署步驟。
檢索增強生成模式可部署架構現已部署在目標帳戶中。
部署架構後,範例應用程式將在新配置的 DevOps 服務中啟動。
若要監控應用程式的建置和部署,請執行下列步驟:
resource_group_name
輸入。Workload - Sample RAG App Configuration
行。Outputs
標籤中,已部署應用程式的 URL 列在sample_app_public_url
輸出下。 為了最大限度地降低成本,自動化部署了 Secrets Manager 的試用定價計畫。您只能建立一個 Secrets Manager 試用實例。您可以從堆疊的可選設定部署 Secrets Manager 的標準計劃實例。
若要修復此問題,請刪除試用實例。刪除後,也會將服務從回收狀態中刪除。
在 IBM Cloud 中,當您刪除資源時,它不會立即消失。相反,它會進入回收狀態,在永久刪除之前會保留很短的時間(通常為 7 天)。在回收狀態期間,您可以根據需要恢復資源。
執行下列 IBM Cloud CLI 命令將服務從回收狀態中刪除。
第一個指令列出所有處於回收狀態的資源。
# List all the resources in reclamation state with its reclamation ID
ibmcloud resource reclamations
尋找 Secrets Manager 服務的回收 ID。在以下命令中使用該 ID。
ibmcloud resource reclamation-delete < reclamation-id >
當您的 ALM/工具鏈部署超過 14 天且應用程式設定 DA 已取消部署/重新部署時,可能會出現此特定問題。這是因為需要持續交付服務來建立和刪除管道屬性,並且在 CD 服務可能不存在時進行部署。我們正在研究針對此錯誤的長期解決方案,但同時,可以透過確保預期創建工具鏈的資源組中存在 CD 服務來緩解該錯誤。
該問題將出現在程式碼引擎和 OCP 變體中的Workload - Sample RAG App Configuration
可部署架構中。該錯誤通常包含以下訊息:
"errors": [
{
"code": 403,
"message": "Continuous Delivery service required"
}
]
這種架構可以進行許多客製化。這些是一些常見的選項。
每個成員配置都包含大量的輸入參數。您可以編輯配置來變更預設值。
例如,透過編輯成員配置,您可以完成以下操作:
若要編輯成員配置,請從成員配置行的選項圖示中選擇編輯。
您可以從堆疊中刪除其他配置不依賴的成員配置。
您可以在此架構中刪除以下配置:
若要刪除成員配置,請從成員配置行的選項圖示中選擇從堆疊中刪除。
您可以按照以下步驟在堆疊層級新增或刪除輸入和輸出變數:
您可以依照下列步驟選擇性地設定可觀測性資源,例如 Activity Tracker 路由和目標以及 Cloud Monitoring 實例:
cloud_logs_provision
):設定此選項以供應或跳過供應 IBM Cloud Logs 實例。cloud_monitoring_provision
):設定此選項以供應或跳過供應 IBM Cloud Monitoring 實例。enable_at_event_routing_to_cos_bucket
):設定此項目以啟用或停用從活動追蹤器到物件儲存儲存桶的事件路由。enable_at_event_routing_to_cloud_logs
):設定此選項可啟用或停用從 Activity Tracker 到 Cloud Logs 的事件路由。修改專案中的可部署架構後,您可以透過私人 IBM Cloud 目錄與其他人共用。若要共用您的可部署架構,請依照向您的企業共用您的可部署架構中的步驟操作。
您可以使用此範例自動化的程式碼作為指南來自訂範例應用程式以滿足您的要求。程式碼可從 https://github.com/terraform-ibm-modules/terraform-ibm-rag-sample-da 取得。
要使用您自己的應用程序,請從堆疊中刪除Workload - Sample RAG App Configuration
成員配置。此成員配置特定於預設範例應用程式。
清理配置
如果您打算銷毀所有 Watson 資源,則此步驟是可選的。作為取消部署 Watson 資源的一部分,應用程式建立的工件將被刪除。
請依照 cleanup.md 檔案中概述的步驟刪除範例應用程式的配置。
刪除 CI 工具鏈建立的資源
在專案中取消部署堆疊時,工具鏈所建立的下列資源不會被破壞。
刪除項目。
若要取消部署可部署架構建立的基礎架構,請依照 IBM Cloud 文件中刪除專案中的步驟操作。