VisEval

VisEval: un punto de referencia de NL2VIS

VisEval es un punto de referencia diseñado para evaluar métodos de generación de visualización. En este repositorio, proporcionamos tanto el conjunto de herramientas para respaldar la evaluación comparativa como los datos utilizados para las evaluaciones comparativas.

¿Qué puede evaluar VisEval?

VisEval evalúa las visualizaciones generadas desde tres dimensiones:

1. Si el código generado puede producir la visualización.
2. Si la visualización generada cumple con la consulta.
3. Si la visualización generada es fácil de leer.

Empezar

Instalar el kit de herramientas de referencia

pip install --upgrade vis-evaluator
# or `git clone https://github.com/microsoft/VisEval.git && cd VisEval && pip install --upgrade -e .`

Descargar conjunto de datos de referencia

Para acceder al conjunto de datos, siga estos pasos:

1. Descargue el conjunto de datos desde este enlace.
2. Una vez que se complete la descarga, descomprima el archivo para extraer el contenido del conjunto de datos.

Para obtener información adicional sobre el conjunto de datos, consulte la documentación del conjunto de datos.

Uso y ejemplos

Después de la instalación, puede utilizar VisEval consultando examples/evaluate.py o lo siguiente:

1. Cree su método de generación heredando de la Clase Agent . Puede encontrar tres ejemplos en el directorio examples/agent .

ChartExecutionResult: """Execute the given code with context and return the result""" pass">

 from viseval . agent import Agent , ChartExecutionResult

class YourAgent ( Agent ):
    def __init__ ( self , llm ):
        self . llm = llm
    
    def generate (
        self , nl_query : str , tables : list [ str ], config : dict
    ) -> Tuple [ str , dict ]:
        """Generate code for the given natural language query."""
        pass

    def execute (
        self , code : str , context : dict , log_name : str = None
    ) -> ChartExecutionResult :
        """Execute the given code with context and return the result"""
        pass

2. Configurar evaluador .

    evaluator = Evaluator ( webdriver_path , vision_model )

(Puede configurar el Evaluador sin un controlador web ni un modelo de visión, en cuyo caso se omitirá la evaluación de la legibilidad de las visualizaciones generadas).

• Instale el controlador web.

   # download
  wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
  # install
  apt install google-chrome-stable_current_amd64.deb
  # verify
  google-chrome --version

• Cargue el modelo de visión (por ejemplo, GPT4-v).

   from langchain_openai import AzureChatOpenAI
  
  import dotenv
  # Copy .env.example to .env and put your API keys in the file.
  dotenv . load_dotenv ()
  
  vision_model = AzureChatOpenAI (
      model_name = "gpt-4-turbo-v" ,
      max_retries = 999 ,
      temperature = 0.0 ,
      request_timeout = 20 ,
      max_tokens = 4096 ,
  )

3. Evaluar

 from viseval import Dataset

# Configure dataset with the benchmark dataset folder path ( folder), 
# specify the number of tables required to generate visualizations (table_type`: all, single, or multiple),
# and indicate whether to include irrelevant tables (`with_irrelevant_tables`).
dataset = Dataset ( folder , table_type , with_irrelevant_tables )

config = { "library" : args . library }
result = evaluator . evaluate ( agent , dataset , config )
score = result . score ()
print ( f"Score: { score } " )

Contribuyendo

Este proyecto agradece contribuciones y sugerencias. La mayoría de las contribuciones requieren que usted acepte un Acuerdo de licencia de colaborador (CLA) que declara que tiene derecho a otorgarnos, y de hecho lo hace, los derechos para usar su contribución. Para obtener más detalles, visite https://cla.opensource.microsoft.com.

Cuando envía una solicitud de extracción, un bot CLA determinará automáticamente si necesita proporcionar un CLA y decorar el PR de manera adecuada (por ejemplo, verificación de estado, comentario). Simplemente siga las instrucciones proporcionadas por el bot. Solo necesitarás hacer esto una vez en todos los repositorios que utilicen nuestro CLA.

Este proyecto ha adoptado el Código de conducta de código abierto de Microsoft. Para obtener más información, consulte las preguntas frecuentes sobre el Código de conducta o comuníquese con [email protected] si tiene preguntas o comentarios adicionales.

Marcas registradas

Este proyecto puede contener marcas comerciales o logotipos de proyectos, productos o servicios. El uso autorizado de las marcas comerciales o logotipos de Microsoft está sujeto y debe seguir las Pautas de marcas y marcas comerciales de Microsoft. El uso de marcas comerciales o logotipos de Microsoft en versiones modificadas de este proyecto no debe causar confusión ni implicar patrocinio de Microsoft. Cualquier uso de marcas comerciales o logotipos de terceros está sujeto a las políticas de dichos terceros.

Declaración de privacidad

Este proyecto ha adoptado la Declaración de privacidad de Microsoft.

Citación

Si considera que VisEval le ayuda en su investigación, considere citarlo:

 @misc{chen2024viseval,
      title={VisEval: A Benchmark for Data Visualization in the Era of Large Language Models}, 
      author={Nan Chen and Yuge Zhang and Jiahang Xu and Kan Ren and Yuqing Yang},
      year={2024},
      eprint={2407.00981},
      archivePrefix={arXiv},
      primaryClass={cs.HC},
}