qevals

qEvals

目录

• 什么是评估？
• 入门
• 先决条件
• 兼容性
• 运行测试
• 贡献
• 发行说明

什么是评估？

Evals 是一个适用于法学硕士和 RAG 应用程序的综合数据生成和评估框架。

它有2个主要模块：

• 数据生成器
• 评估

evals 的高级架构图如下：

架构图

入门

要开始使用评估，请按照下列步骤操作：

1. 将存储库克隆到本地计算机。
2. 通过在项目目录中运行pip install -r requirements.txt安装必要的依赖项。
3. 创建config/config.toml.template的副本并将其命名为config/config.toml 。
4. 更新config.toml文件中的 2 个部分：
   1. MISC
      • 配置您的 SSL 证书文件位置。
   2. DATAGEN
      • 设置DATA_DIR变量控制生成合成数据的数据语料库的位置，它相对于datagen/data/目录。换句话说，在其中添加数据目录并在变量中指定它们的名称。
      • GEN_PROVIDER变量允许在azure或vertex之间进行选择。
      • 添加生成目的所需的其余变量。
   3. DATAEVAL
      • EVAL_TESTS提供框架支持的评估测试列表。可能的选项有AnswerRelevancy 、 Hallucination 、 Faithfulness 、 Bias 、 Toxicity 、 Correctness 、 Coherence 、 PromptInjection 、 PromptBreaking 、 PromptLeakage 。
      • EVAL_RPVODER变量允许在azure或vertex之间进行选择。
      • 添加想要用作评估判断的模型所需的其余变量。

要运行合成数据生成模块：

1. 修改/调整提供的示例客户端 ( datagen/client.py )

2. 运行python -m datagen.client

3. 综合生成的数据将以 CSV 文件形式存储在datagen/qa_out/目录中，格式如下：

    ```csv
    question,context,ground_truth
    ```
   

运行 eval 模块：

1. 修改/调整提供的示例客户端 ( eval/client.py )
   1. 输入数据需要匹配合成数据生成生成的数据的格式（ question 、 context 、 ground_truth ）。
   2. 根据设置use_answers_from_dataset可能会或可能不会使用ground_truth 。当设置为False时，它​​将忽略该数据列并使用配置的生成模型生成新的输出。
2. 通过运行以下命令启动 MlFlow：

   mlflow ui --port 5000

3. 运行python -m eval.client
4. 在本地 MlFlow 界面上监视并分析评估结果：http://localhost:5000