qevals

qEvals

目次

• evalsとは何ですか?
• はじめる
• 前提条件
• 互換性
• テストの実行
• 貢献する
• リリースノート

evalsとは何ですか?

Evals は、LLM および RAG アプリケーション用の合成データ生成および評価フレームワークです。

2 つの主要なモジュールがあります。

• データジェネ
• 評価

evals の高レベルのアーキテクチャ図は次のとおりです。

アーキテクチャ図

はじめる

eval を開始するには、次の手順に従います。

1. リポジトリのクローンをローカル マシンに作成します。
2. プロジェクト ディレクトリでpip install -r requirements.txt実行して、必要な依存関係をインストールします。
3. config/config.toml.templateのコピーを作成し、 config/config.toml名前を付けます。
4. config.tomlファイル内の 2 つのセクションを更新します。
   1. MISC
      • SSL 証明書ファイルの場所を構成します。
   2. DATAGEN
      • Set DATA_DIR変数は、合成データを生成するデータ コーパスの場所を制御します。この場所は、 datagen/data/ディレクトリを基準にしています。つまり、そこにデータ ディレクトリを追加し、変数にその名前を指定します。
      • GEN_PROVIDER変数を使用すると、 azureまたはvertexを選択できます。
      • 生成目的で必要な残りの変数を追加します。
   3. DATAEVAL
      • EVAL_TESTSフレームワークでサポートされている評価テストのリストを提供します。可能なオプションは、 AnswerRelevancy 、 Hallucination 、 Faithfulness 、 Bias 、 Toxicity 、 Correctness 、 Coherence 、 PromptInjection 、 PromptBreaking 、 PromptLeakageです。
      • EVAL_RPVODER変数を使用すると、 azureまたはvertexを選択できます。
      • 評価の判断材料として使用したいモデルに必要な残りの変数を追加します。

合成データ生成モジュールを実行するには:

1. 提供されているサンプル クライアント ( datagen/client.py ) を変更/適応させます。

2. python -m datagen.clientを実行します。

3. 合成的に生成されたデータは、次の形式の CSV ファイルとしてdatagen/qa_out/ディレクトリに保存されます。

    ```csv
    question,context,ground_truth
    ```
   

eval モジュールを実行するには:

1. 提供されたサンプル クライアント ( eval/client.py ) を変更/適応させます。
   1. 入力データは、合成データ生成 ( question 、 context 、 ground_truth ) によって生成されたデータの形式と一致する必要があります。
   2. ground_truth 、 use_answers_from_dataset設定に応じて使用される場合と使用されない場合があります。 Falseに設定すると、そのデータ列が無視され、構成された生成モデルを使用して新しい出力が生成されます。
2. 以下を実行して MlFlow を開始します。

   mlflow ui --port 5000

3. python -m eval.clientを実行します。
4. ここでローカル MlFlow インターフェイス上の評価結果を監視および分析します: http://localhost:5000