genai system evaluation

GenAI系统评估

该存储库包含示例笔记本，用于演示如何评估 LLM 增强系统。它为本地评估提供了工具和方法。

环境

1. 确保您已在基岩控制台中启用克劳德十四行诗和克劳德俳句
2. 确保您有足够的权限从 Python SDK (Boto3) 调用 Bedrock

当地的

这些笔记本使用 Python 3.12 进行了测试。如果您在本地运行，请确保您使用的是 3.12。另请确保您的 AWS CLI 设置包含您想要设置为默认配置文件的凭证。这些凭证需要访问 Amazon Bedrock 模型

目录

• 文件夹结构
• 入门
• 用法
• 作者
• 致谢
• 贡献
• 执照

文件夹结构

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

细节

• data/ ：包含用于检索增强生成 (RAG) 上下文和验证的数据集。
• example-notebooks/ ：Jupyter 笔记本展示了以下评估：
  • 嵌入和分块策略
  • 使用大块大小重新排序
  • 法官提示工程法学硕士
  • RAG 快速工程
  • 端到端RAG测试

入门

1. 克隆存储库：

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. 设置虚拟环境：

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. 安装所需的依赖项：

    pip install -r requirements.txt
   

4. 下载 RAG 上下文的 opensearch 文档。

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. 转到笔记本示例并启动 jupyter 笔记本！

   $ cd ../../example-notebooks
   $ jupyter notebook

6. 从笔记本 1 开始，逐步完成它们！

用法

1. 探索example-notebooks/目录中的示例笔记本以了解不同的评估技术。

作者

• Tanner McRae -初始工作- github
• Felix Huthmacher -初始工作- github

安全

请参阅贡献以获取更多信息。

执照

该库根据 MIT-0 许可证获得许可。请参阅许可证文件。