VisEval

VisEval: Ein NL2VIS-Benchmark

VisEval ist ein Benchmark zur Bewertung von Methoden zur Visualisierungsgenerierung. In diesem Repository stellen wir sowohl das Toolkit zur Unterstützung des Benchmarkings als auch die für Benchmarking verwendeten Daten bereit.

Was kann VisEval auswerten?

VisEval wertet generierte Visualisierungen aus drei Dimensionen aus:

1. Ob der generierte Code die Visualisierung erzeugen kann.
2. Ob die generierte Visualisierung die Abfrage erfüllt.
3. Ob die generierte Visualisierung gut lesbar ist.

Legen Sie los

Installieren Sie das Benchmark Toolkit

pip install --upgrade vis-evaluator
# or `git clone https://github.com/microsoft/VisEval.git && cd VisEval && pip install --upgrade -e .`

Laden Sie den Benchmark-Datensatz herunter

Um auf den Datensatz zuzugreifen, befolgen Sie bitte diese Schritte:

1. Laden Sie den Datensatz über diesen Link herunter.
2. Sobald der Download abgeschlossen ist, entpacken Sie die Datei, um den Inhalt des Datensatzes zu extrahieren.

Weitere Informationen zum Datensatz finden Sie in der Datensatzdokumentation.

Verwendung und Beispiele

Nach der Installation können Sie VisEval verwenden, indem Sie auf examples/evaluate.py verweisen oder wie folgt vorgehen:

1. Erstellen Sie Ihre Generierungsmethode, indem Sie von der Agent -Klasse erben. Drei Beispiele finden Sie im Verzeichnis examples/agent .

ChartExecutionResult: """Execute the given code with context and return the result""" pass">

 from viseval . agent import Agent , ChartExecutionResult

class YourAgent ( Agent ):
    def __init__ ( self , llm ):
        self . llm = llm
    
    def generate (
        self , nl_query : str , tables : list [ str ], config : dict
    ) -> Tuple [ str , dict ]:
        """Generate code for the given natural language query."""
        pass

    def execute (
        self , code : str , context : dict , log_name : str = None
    ) -> ChartExecutionResult :
        """Execute the given code with context and return the result"""
        pass

2. Evaluator konfigurieren .

    evaluator = Evaluator ( webdriver_path , vision_model )

(Sie können den Evaluator ohne Webtreiber und Vision-Modell konfigurieren. In diesem Fall wird die Bewertung der Lesbarkeit der generierten Visualisierungen übersprungen.)

• Webdriver installieren.

   # download
  wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
  # install
  apt install google-chrome-stable_current_amd64.deb
  # verify
  google-chrome --version

• Vision-Modell laden (z. B. GPT4-v).

   from langchain_openai import AzureChatOpenAI
  
  import dotenv
  # Copy .env.example to .env and put your API keys in the file.
  dotenv . load_dotenv ()
  
  vision_model = AzureChatOpenAI (
      model_name = "gpt-4-turbo-v" ,
      max_retries = 999 ,
      temperature = 0.0 ,
      request_timeout = 20 ,
      max_tokens = 4096 ,
  )

3. Auswerten

 from viseval import Dataset

# Configure dataset with the benchmark dataset folder path ( folder), 
# specify the number of tables required to generate visualizations (table_type`: all, single, or multiple),
# and indicate whether to include irrelevant tables (`with_irrelevant_tables`).
dataset = Dataset ( folder , table_type , with_irrelevant_tables )

config = { "library" : args . library }
result = evaluator . evaluate ( agent , dataset , config )
score = result . score ()
print ( f"Score: { score } " )

Mitwirken

Dieses Projekt freut sich über Beiträge und Vorschläge. Für die meisten Beiträge müssen Sie einem Contributor License Agreement (CLA) zustimmen, in dem Sie erklären, dass Sie das Recht haben, uns die Rechte zur Nutzung Ihres Beitrags zu gewähren, und dies auch tatsächlich tun. Weitere Informationen finden Sie unter https://cla.opensource.microsoft.com.

Wenn Sie eine Pull-Anfrage einreichen, ermittelt ein CLA-Bot automatisch, ob Sie eine CLA bereitstellen müssen, und schmückt die PR entsprechend (z. B. Statusprüfung, Kommentar). Folgen Sie einfach den Anweisungen des Bots. Sie müssen dies nur einmal für alle Repos tun, die unsere CLA verwenden.

Dieses Projekt hat den Microsoft Open Source-Verhaltenskodex übernommen. Weitere Informationen finden Sie in den häufig gestellten Fragen zum Verhaltenskodex oder wenden Sie sich bei weiteren Fragen oder Kommentaren an [email protected].

Marken

Dieses Projekt kann Marken oder Logos für Projekte, Produkte oder Dienstleistungen enthalten. Die autorisierte Nutzung von Microsoft-Marken oder -Logos unterliegt den Marken- und Markenrichtlinien von Microsoft und muss diesen entsprechen. Die Verwendung von Microsoft-Marken oder -Logos in geänderten Versionen dieses Projekts darf keine Verwirrung stiften oder eine Sponsorschaft durch Microsoft implizieren. Jegliche Nutzung von Marken oder Logos Dritter unterliegt den Richtlinien dieser Drittanbieter.

Datenschutzerklärung

Dieses Projekt hat die Datenschutzerklärung von Microsoft übernommen.

Zitat

Wenn Sie feststellen, dass VisEval Ihrer Forschung hilft, denken Sie bitte darüber nach, es zu zitieren:

 @misc{chen2024viseval,
      title={VisEval: A Benchmark for Data Visualization in the Era of Large Language Models}, 
      author={Nan Chen and Yuge Zhang and Jiahang Xu and Kan Ren and Yuqing Yang},
      year={2024},
      eprint={2407.00981},
      archivePrefix={arXiv},
      primaryClass={cs.HC},
}