簡化的矯正抹布

使用 Amazon Bedrock 建立簡化的 Corrective RAG 助手

概述

Amazon Bedrock 是一項完全託管的服務，可透過統一的 API 提供來自領先 AI 新創公司和 Amazon 的高效能基礎模型 (FM) 供您使用。您可以從多種基礎模型中進行選擇，找到最適合您的用例的模型。 Amazon Bedrock 還提供了一系列廣泛的功能來建立具有安全性、隱私性和負責任的 AI 的生成式 AI 應用程式。使用 Amazon Bedrock，您可以輕鬆試驗和評估適合您用例的頂級基礎模型，使用微調和檢索增強生成 (RAG) 等技術使用您的資料私下自訂它們，並建立使用您的企業系統執行任務的代理程式和資料來源。

大型語言模型（LLM）不可避免地會出現幻覺，因為生成文字的準確性不能僅透過它們封裝的參數知識來保證。儘管檢索增強生成（RAG）是法學碩士的實用補充，但它在很大程度上依賴檢索到的文檔的相關性，這引發了人們對檢索出錯時模型如何表現的擔憂。

提出了糾正 RAG 等先進的 RAG 技術來提高生成的穩健性。在 CRAG 中，設計了一個輕量級檢索評估器來評估查詢檢索到的文件的整體質量，傳回一個置信度，根據該置信度可以觸發不同的知識檢索操作。由於從靜態和有限的語料庫中檢索只能返回次優文檔，因此大規模網路搜尋被用作增強檢索結果的擴展。 CRAG 是即插即用的，可與各種基於 RAG 的方法無縫耦合。

此儲存庫包含的程式碼將引導您完成建置基於 CRAG 的簡化助手的過程。我們將介紹檢索階段的兩種場景：

1. （場景 1）知識庫中存在與指定查詢密切匹配的文件。
2. （場景 2）知識庫中沒有與指定查詢密切匹配的文件。結果，將執行網路搜尋來檢索符合的文件。

開始使用

1. 選擇要使用的 AWS 帳戶並確保在該帳戶中建立所有資源。
2. 確定具有 Amazon Bedrock 和 Anthropic Claude 3 和 Titan Embeddings G1 - 文字模型的 AWS 區域。
3. 在該區域中，將下列檔案複製到您選擇的新的或現有的 Amazon S3 儲存桶。確保 AWS CloudFormation 可以讀取此儲存桶。
   • wikipedia_search_bedrock_agent.zip
4. 使用下列程序建立名為py312_opensearch-py_requests_and_requests-aws4auth.zip的 Lambda 層文件，並將其上傳到與步驟 3 中相同的 Amazon S3 儲存桶。
   • 在 Windows 10 或更高版本上：
     1. 確保 Python 3.12 和 pip 已安裝並在使用者的 PATH 變數中設定。
     2. 下載 7-zip 並將其安裝在C:/Program Files/7-Zip/ 。
     3. 開啟 Windows 命令提示字元。
     4. 建立一個新目錄並cd其中。
     5. 從該目錄內部執行 lambda_layer_file_create.bat。
     6. 這將建立名為py312_opensearch-py_requests_and_requests-aws4auth.zip的 Lambda 層檔案。
   • 在 Linux 上：
     1. 確保 Python 3.12 和 pip 已安裝並在使用者的 PATH 變數中設定。
     2. 開啟 Linux 命令提示字元。
     3. 建立一個新目錄並cd其中。
     4. 從該目錄內部執行 lambda_layer_file_create.sh。
     5. 這將建立名為py312_opensearch-py_requests_and_requests-aws4auth.zip的 Lambda 層檔案。
5. 使用提供的 AWS CloudFormation 範本 simple- Corrective-rag-cfn.yaml 並更新下列參數，
   • DeploymentArtifactsS3BucketName - 將其設定為步驟 3 中的 Amazon S3 儲存桶的名稱。
6. 使用更新後的範本建立 AWS CloudFormation 堆疊。
7. 透過導覽至 Amazon SageMaker 筆記本實例控制台並點擊名為simple-crag-instance的實例上的Open Jupyter鏈接，打開名為simple- Corrective-rag.ipynb的 Jupyter 筆記本。

儲存庫結構

• 包含 AWS CloudFormation 範本和依賴項目的資產資料夾。
• AWS Lambda 函數的 Python 程式碼，將由 Bedrock 代理呼叫以執行 Web 搜尋。這也作為依賴工件壓縮到該檔案中。
• 一個筆記本資料夾，其中包含與您將要使用的 Jupyter 筆記本相關的所有工件。

安全

請參閱貢獻以獲取更多資訊。

執照

該庫根據 MIT-0 許可證獲得許可。請參閱許可證文件。