qevals

qEvals

Índice

• O que é avaliações?
• Começando
• Pré-requisitos
• Compatibilidade
• Executando testes
• Contribuindo
• Notas de versão

O que é avaliações?

Evals é uma estrutura de geração e avaliação de dados sintéticos para aplicações LLMs e RAG.

Possui 2 módulos principais:

• datagen
• avaliação

Um diagrama de arquitetura de alto nível de avaliações é o seguinte:

Diagrama de arquitetura

Começando

Para começar com avaliações, siga estas etapas:

1. Clone o repositório em sua máquina local.
2. Instale as dependências necessárias executando pip install -r requirements.txt no diretório do projeto.
3. Crie uma cópia de config/config.toml.template e nomeie-a config/config.toml .
4. Atualize 2 seções no arquivo config.toml :
   1. MISC
      • Configure o local do arquivo do certificado SSL.
   2. DATAGEN
      • Definir a variável DATA_DIR controla a localização do corpus de dados para gerar dados sintéticos, é relativo ao diretório datagen/data/ . Em outras palavras, adicione seus diretórios de dados e especifique seus nomes na variável.
      • A variável GEN_PROVIDER permite escolher entre azure ou vertex .
      • Adicione as demais variáveis ​​​​desejadas para fins generativos.
   3. DATAEVAL
      • EVAL_TESTS oferece uma lista de testes de avaliação suportados pelo framework. As opções possíveis são AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage .
      • A variável EVAL_RPVODER permite escolher entre azure ou vertex .
      • Adicione o restante das variáveis ​​​​necessárias para o modelo que deseja usar como juiz nas avaliações.

Para executar o módulo de geração de dados sintéticos:

1. Modifique/adapte o cliente de amostra fornecido ( datagen/client.py )

2. Execute python -m datagen.client

3. Os dados gerados sinteticamente serão armazenados no diretório datagen/qa_out/ como um arquivo CSV com o formato:

    ```csv
    question,context,ground_truth
    ```
   

Para executar o módulo de avaliação:

1. Modifique/adapte o cliente de amostra fornecido ( eval/client.py )
   1. Os dados de entrada precisam corresponder ao formato dos dados produzidos pela geração de dados sintéticos ( question , context , ground_truth ).
   2. O ground_truth pode ou não ser usado dependendo da configuração use_answers_from_dataset . Quando definido como False ignorará essa coluna de dados e gerará novas saídas usando o modelo generativo configurado.
2. Inicie o MlFlow executando:

   mlflow ui --port 5000

3. Execute python -m eval.client
4. Monitore e analise os resultados da avaliação em sua interface MlFlow local aqui: http://localhost:5000