qevals

qEvals

目錄

• 什麼是評估？
• 入門
• 先決條件
• 相容性
• 運行測試
• 貢獻
• 發行說明

什麼是評估？

Evals 是一個適用於法學碩士和 RAG 應用程式的綜合資料生成和評估框架。

它有2個主要模組：

• 數據生成器
• 評估

evals 的高階架構圖如下：

架構圖

入門

若要開始使用評估，請依照下列步驟操作：

1. 將儲存庫克隆到本機。
2. 透過在專案目錄中執行pip install -r requirements.txt安裝必要的依賴項。
3. 建立config/config.toml.template的副本並命名為config/config.toml 。
4. 更新config.toml檔案中的 2 個部分：
   1. MISC
      • 設定您的 SSL 憑證檔案位置。
   2. DATAGEN
      • 設定DATA_DIR變數控制產生合成資料的資料語料庫的位置，它相對於datagen/data/目錄。換句話說，在其中添加資料目錄並在變數中指定它們的名稱。
      • GEN_PROVIDER變數允許在azure或vertex之間進行選擇。
      • 新增生成目的所需的其餘變數。
   3. DATAEVAL
      • EVAL_TESTS提供框架支援的評估測試清單。可能的選項有AnswerRelevancy 、 Hallucination 、 Faithfulness 、 Bias 、 Toxicity 、 Correctness 、 Coherence 、 PromptInjection 、 PromptBreaking 、 PromptLeakage 。
      • EVAL_RPVODER變數允許在azure或vertex之間進行選擇。
      • 增加想要用作評估判斷的模型所需的其餘變數。

若要運行合成資料生成模組：

1. 修改/調整提供的範例用戶端 ( datagen/client.py )

2. 運行python -m datagen.client

3. 綜合產生的資料將以 CSV 檔案形式儲存在datagen/qa_out/目錄中，格式如下：

    ```csv
    question,context,ground_truth
    ```
   

運行 eval 模組：

1. 修改/調整提供的範例客戶端 ( eval/client.py )
   1. 輸入資料需要匹配合成資料產生產生的資料的格式（ question 、 context 、 ground_truth ）。
   2. 根據設定use_answers_from_dataset可能會或可能不會使用ground_truth 。當設定為False時，它將忽略該資料列並使用配置的生成模型產生新的輸出。
2. 透過執行以下命令啟動 MlFlow：

   mlflow ui --port 5000

3. 運行python -m eval.client
4. 在本地 MlFlow 介面上監控並分析評估結果：http://localhost:5000