qevals

qEvals

Оглавление

• Что такое оценки?
• Начиная
• Предварительные условия
• Совместимость
• Запуск тестов
• Содействие
• Примечания к выпуску

Что такое оценки?

Evals — это система генерации и оценки синтетических данных для приложений LLM и RAG.

Имеет 2 основных модуля:

• генератор данных
• оценивать

Схема высокоуровневой архитектуры evals выглядит следующим образом:

Схема архитектуры

Начиная

Чтобы начать работу с оценками, выполните следующие действия:

1. Клонируйте репозиторий на свой локальный компьютер.
2. Установите необходимые зависимости, запустив pip install -r requirements.txt в каталоге проекта.
3. Создайте копию config/config.toml.template и назовите ее config/config.toml .
4. Обновите 2 раздела в файле config.toml :
   1. MISC
      • Настройте расположение файла сертификата SSL.
   2. DATAGEN
      • Установка переменной DATA_DIR управляет расположением корпуса данных, из которого будут генерироваться синтетические данные, относительно каталога datagen/data/ . Другими словами, добавьте туда свои каталоги данных и укажите их имя в переменной.
      • Переменная GEN_PROVIDER позволяет выбирать между azure или vertex .
      • Добавьте остальные переменные, необходимые для генеративных целей.
   3. DATAEVAL
      • EVAL_TESTS предлагает список оценочных тестов, поддерживаемых платформой. Возможные варианты: AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage .
      • Переменная EVAL_RPVODER позволяет выбирать между azure или vertex .
      • Добавьте остальные переменные, необходимые для модели, которую вы хотите использовать в качестве критерия для оценок.

Чтобы запустить модуль генерации синтетических данных:

1. Измените/адаптируйте предоставленный образец клиента ( datagen/client.py ).

2. Запустите python -m datagen.client

3. Синтетически сгенерированные данные будут храниться в каталоге datagen/qa_out/ в виде файла CSV в формате:

    ```csv
    question,context,ground_truth
    ```
   

Чтобы запустить модуль eval:

1. Измените/адаптируйте предоставленный образец клиента ( eval/client.py )
   1. Входные данные должны соответствовать формату данных, полученных в результате генерации синтетических данных ( question , context , ground_truth ).
   2. ground_truth может использоваться или не использоваться в зависимости от настройки use_answers_from_dataset . Если установлено значение False этот столбец данных будет игнорироваться и генерироваться новые выходные данные, используя настроенную генеративную модель.
2. Запустите MlFlow, выполнив:

   mlflow ui --port 5000

3. Запустите python -m eval.client
4. Отслеживайте и анализируйте результаты оценки на локальном интерфейсе MlFlow здесь: http://localhost:5000.