genai system evaluation

GenAI系統評估

此儲存庫包含範例筆記本，用於示範如何評估 LLM 增強系統。它為本地評估提供了工具和方法。

環境

1. 確保您已在基岩控制台中啟用克勞德十四行詩和克勞德俳句
2. 確保您有足夠的權限從 Python SDK (Boto3) 呼叫 Bedrock

當地的

這些筆記本使用 Python 3.12 進行了測試。如果您在本地運行，請確保您使用的是 3.12。另請確保您的 AWS CLI 設定包含您想要設定為預設設定檔的憑證。這些憑證需要存取 Amazon Bedrock 模型

目錄

• 資料夾結構
• 入門
• 用法
• 作者
• 致謝
• 貢獻
• 執照

資料夾結構

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

細節

• data/ ：包含用於檢索增強生成 (RAG) 上下文和驗證的資料集。
• example-notebooks/ ：Jupyter 筆記本展示了以下評估：
  • 嵌入和分塊策略
  • 使用大塊大小重新排序
  • 法官提示工程法學碩士
  • RAG 快速工程
  • 端對端RAG測試

入門

1. 克隆儲存庫：

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. 設定虛擬環境：

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. 安裝所需的依賴項：

    pip install -r requirements.txt
   

4. 下載 RAG 上下文的 opensearch 文件。

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. 前往筆記本範例並啟動 jupyter 筆記本！

   $ cd ../../example-notebooks
   $ jupyter notebook

6. 從筆記本 1 開始，逐步完成它們！

用法

1. 探索example-notebooks/目錄中的範例筆記本以了解不同的評估技術。

作者

• Tanner McRae -初始工作- github
• Felix Huthmacher -初始工作- github

安全

請參閱貢獻以獲取更多資訊。

執照

該庫根據 MIT-0 許可證獲得許可。請參閱許可證文件。