VisEval

VisEval: uma referência NL2VIS

VisEval é um benchmark desenvolvido para avaliar métodos de geração de visualização. Neste repositório, fornecemos o kit de ferramentas para apoiar o benchmarking, bem como os dados utilizados para benchmarks.

O que o VisEval pode avaliar

VisEval avalia as visualizações geradas em três dimensões:

1. Se o código gerado pode produzir a visualização.
2. Se a visualização gerada atende à consulta.
3. Se a visualização gerada é fácil de ler.

Comece

Instalar o kit de ferramentas de referência

pip install --upgrade vis-evaluator
# or `git clone https://github.com/microsoft/VisEval.git && cd VisEval && pip install --upgrade -e .`

Baixar conjunto de dados de referência

Para acessar o conjunto de dados, siga estas etapas:

1. Baixe o conjunto de dados neste link.
2. Assim que o download for concluído, descompacte o arquivo para extrair o conteúdo do conjunto de dados.

Para obter informações adicionais sobre o conjunto de dados, consulte a documentação do conjunto de dados.

Uso e exemplos

Após a instalação, você pode usar VisEval consultando examples/evaluate.py ou a seguir:

1. Crie seu método de geração herdando da classe Agent . Você pode encontrar três exemplos no diretório examples/agent .

ChartExecutionResult: """Execute the given code with context and return the result""" pass">

 from viseval . agent import Agent , ChartExecutionResult

class YourAgent ( Agent ):
    def __init__ ( self , llm ):
        self . llm = llm
    
    def generate (
        self , nl_query : str , tables : list [ str ], config : dict
    ) -> Tuple [ str , dict ]:
        """Generate code for the given natural language query."""
        pass

    def execute (
        self , code : str , context : dict , log_name : str = None
    ) -> ChartExecutionResult :
        """Execute the given code with context and return the result"""
        pass

2. Configurar avaliador .

    evaluator = Evaluator ( webdriver_path , vision_model )

(Você pode configurar o Avaliador sem webdriver e modelo de visão, caso em que a avaliação da legibilidade das visualizações geradas será ignorada.)

• Instale o webdriver.

   # download
  wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
  # install
  apt install google-chrome-stable_current_amd64.deb
  # verify
  google-chrome --version

• Modelo de visão de carga (por exemplo, GPT4-v).

   from langchain_openai import AzureChatOpenAI
  
  import dotenv
  # Copy .env.example to .env and put your API keys in the file.
  dotenv . load_dotenv ()
  
  vision_model = AzureChatOpenAI (
      model_name = "gpt-4-turbo-v" ,
      max_retries = 999 ,
      temperature = 0.0 ,
      request_timeout = 20 ,
      max_tokens = 4096 ,
  )

3. Avaliar

 from viseval import Dataset

# Configure dataset with the benchmark dataset folder path ( folder), 
# specify the number of tables required to generate visualizations (table_type`: all, single, or multiple),
# and indicate whether to include irrelevant tables (`with_irrelevant_tables`).
dataset = Dataset ( folder , table_type , with_irrelevant_tables )

config = { "library" : args . library }
result = evaluator . evaluate ( agent , dataset , config )
score = result . score ()
print ( f"Score: { score } " )

Contribuindo

Este projeto aceita contribuições e sugestões. A maioria das contribuições exige que você concorde com um Contrato de Licença de Colaborador (CLA), declarando que você tem o direito de nos conceder, e realmente nos concede, os direitos de uso de sua contribuição. Para obter detalhes, visite https://cla.opensource.microsoft.com.

Quando você envia uma solicitação pull, um bot CLA determinará automaticamente se você precisa fornecer um CLA e decorará o PR adequadamente (por exemplo, verificação de status, comentário). Basta seguir as instruções fornecidas pelo bot. Você só precisará fazer isso uma vez em todos os repositórios que usam nosso CLA.

Este projeto adotou o Código de Conduta de Código Aberto da Microsoft. Para obter mais informações, consulte as Perguntas frequentes sobre o Código de Conduta ou entre em contato com [email protected] com perguntas ou comentários adicionais.

Marcas registradas

Este projeto pode conter marcas registradas ou logotipos de projetos, produtos ou serviços. O uso autorizado de marcas registradas ou logotipos da Microsoft está sujeito e deve seguir as Diretrizes de Marcas Registradas e Marcas da Microsoft. O uso de marcas registradas ou logotipos da Microsoft em versões modificadas deste projeto não deve causar confusão nem implicar patrocínio da Microsoft. Qualquer uso de marcas registradas ou logotipos de terceiros está sujeito às políticas desses terceiros.

Declaração de privacidade

Este projeto adotou a Declaração de Privacidade da Microsoft.

Citação

Se você achar que o VisEval ajuda em sua pesquisa, considere citá-lo:

 @misc{chen2024viseval,
      title={VisEval: A Benchmark for Data Visualization in the Era of Large Language Models}, 
      author={Nan Chen and Yuge Zhang and Jiahang Xu and Kan Ren and Yuqing Yang},
      year={2024},
      eprint={2407.00981},
      archivePrefix={arXiv},
      primaryClass={cs.HC},
}