VisEval

VisEval: NL2VIS ベンチマーク

VisEval は、視覚化の生成方法を評価するために設計されたベンチマークです。このリポジトリでは、ベンチマークをサポートするツールキットとベンチマークに使用されるデータの両方を提供します。

VisEval で評価できるもの

VisEval は、生成されたビジュアライゼーションを次の 3 つの次元から評価します。

1. 生成されたコードが視覚化を生成できるかどうか。
2. 生成されたビジュアライゼーションがクエリを満たすかどうか。
3. 生成されたビジュアライゼーションが読みやすいかどうか。

始めましょう

ベンチマーク ツールキットをインストールする

pip install --upgrade vis-evaluator
# or `git clone https://github.com/microsoft/VisEval.git && cd VisEval && pip install --upgrade -e .`

ベンチマーク データセットのダウンロード

データセットにアクセスするには、次の手順に従ってください。

1. このリンクからデータセットをダウンロードします。
2. ダウンロードが完了したら、ファイルを解凍してデータセットの内容を抽出します。

データセットの詳細については、データセットのドキュメントを参照してください。

使用法と例

インストール後、 examples/evaluate.pyまたは以下を参照して VisEval を使用できます。

1. Agentクラスを継承して生成メソッドを作成します。 3 つの例は、 examples/agentディレクトリにあります。

ChartExecutionResult: """Execute the given code with context and return the result""" pass">

 from viseval . agent import Agent , ChartExecutionResult

class YourAgent ( Agent ):
    def __init__ ( self , llm ):
        self . llm = llm
    
    def generate (
        self , nl_query : str , tables : list [ str ], config : dict
    ) -> Tuple [ str , dict ]:
        """Generate code for the given natural language query."""
        pass

    def execute (
        self , code : str , context : dict , log_name : str = None
    ) -> ChartExecutionResult :
        """Execute the given code with context and return the result"""
        pass

2. エバリュエーターを構成します。

    evaluator = Evaluator ( webdriver_path , vision_model )

(Web ドライバーとビジョン モデルを使用せずにエバリュエーターを構成することもできます。その場合、生成されたビジュアライゼーションの読みやすさの評価はスキップされます。)

• ウェブドライバーをインストールします。

   # download
  wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
  # install
  apt install google-chrome-stable_current_amd64.deb
  # verify
  google-chrome --version

• ビジョン モデル (GPT4-v など) をロードします。

   from langchain_openai import AzureChatOpenAI
  
  import dotenv
  # Copy .env.example to .env and put your API keys in the file.
  dotenv . load_dotenv ()
  
  vision_model = AzureChatOpenAI (
      model_name = "gpt-4-turbo-v" ,
      max_retries = 999 ,
      temperature = 0.0 ,
      request_timeout = 20 ,
      max_tokens = 4096 ,
  )

3. 評価する

 from viseval import Dataset

# Configure dataset with the benchmark dataset folder path ( folder), 
# specify the number of tables required to generate visualizations (table_type`: all, single, or multiple),
# and indicate whether to include irrelevant tables (`with_irrelevant_tables`).
dataset = Dataset ( folder , table_type , with_irrelevant_tables )

config = { "library" : args . library }
result = evaluator . evaluate ( agent , dataset , config )
score = result . score ()
print ( f"Score: { score } " )

貢献する

このプロジェクトは貢献と提案を歓迎します。ほとんどの投稿では、投稿を使用する権利をお客様が有しており、実際に当社に付与することを宣言する投稿者ライセンス契約 (CLA) に同意する必要があります。詳細については、https://cla.opensource.microsoft.com をご覧ください。

プル リクエストを送信すると、CLA ボットが CLA を提供する必要があるかどうかを自動的に判断し、PR を適切に装飾します (ステータス チェック、コメントなど)。ボットが提供する指示に従ってください。 CLA を使用するすべてのリポジトリでこれを 1 回行うだけで済みます。

このプロジェクトは Microsoft オープンソースの行動規範を採用しています。詳細については、行動規範の FAQ を参照するか、追加の質問やコメントがあれば [email protected] までお問い合わせください。

商標

このプロジェクトには、プロジェクト、製品、またはサービスの商標またはロゴが含まれている場合があります。 Microsoft の商標またはロゴの許可された使用には、Microsoft の商標およびブランド ガイドラインが適用され、それに従わなければなりません。このプロジェクトの修正バージョンで Microsoft の商標またはロゴを使用することは、混乱を引き起こしたり、Microsoft のスポンサーであることを暗示したりしてはなりません。第三者の商標またはロゴの使用には、それらの第三者のポリシーが適用されます。

プライバシーに関する声明

このプロジェクトはマイクロソフトのプライバシーに関する声明を採用しています。

引用

VisEval があなたの研究に役立つと思われる場合は、それを引用することを検討してください。

 @misc{chen2024viseval,
      title={VisEval: A Benchmark for Data Visualization in the Era of Large Language Models}, 
      author={Nan Chen and Yuge Zhang and Jiahang Xu and Kan Ren and Yuqing Yang},
      year={2024},
      eprint={2407.00981},
      archivePrefix={arXiv},
      primaryClass={cs.HC},
}