genai system evaluation

Avaliação do sistema GenAI

Este repositório contém cadernos de amostra para demonstrar como avaliar um sistema aumentado por LLM. Fornece ferramentas e métodos para avaliação local.

Ambiente

1. Certifique-se de ter habilitado Claude Sonnet e Claude Haiku no Bedrock Console
2. Certifique-se de ter permissões adequadas para chamar Bedrock do Python SDK (Boto3)

Local

Esses notebooks foram testados com Python 3.12. Se você estiver executando localmente, verifique se está usando o 3.12. Certifique-se também de ter a AWS CLI configurada com as credenciais que deseja definir para o perfil padrão. Essas credenciais precisam de acesso aos modelos Amazon Bedrock

Índice

• Estrutura de pastas
• Começando
• Uso
• Autores
• Agradecimentos
• Contribuindo
• Licença

Estrutura de pastas

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

Detalhes

• data/ : Contém os conjuntos de dados usados ​​para contexto e validação de Retrieval-Augmented Generation (RAG).
• example-notebooks/ : Notebooks Jupyter demonstrando a avaliação de:
  • Estratégia de incorporação e chunking
  • Reclassificação com pedaços grandes
  • Engenharia de prompt LLM-como-juiz
  • Engenharia de Prompt RAG
  • Teste E2E RAG

Começando

1. Clone o repositório:

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. Configure um ambiente virtual:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Instale as dependências necessárias:

    pip install -r requirements.txt
   

4. Baixe os documentos do opensearch para o contexto RAG.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. Vá para exemplos de notebooks e inicie notebooks jupyter!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. Comece no caderno 1 e vá avançando neles!

Uso

1. Explore os cadernos de exemplo no diretório example-notebooks/ para entender diferentes técnicas de avaliação.

Autores

• Tanner McRae - Trabalho inicial - github
• Felix Huthmacher - Trabalho inicial - github

Segurança

Consulte CONTRIBUINDO para obter mais informações.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo LICENÇA.