DS1000

DS-1000 データ サイエンス コード生成

論文「 DS-1000: データ サイエンス コード生成のための自然で信頼性の高いベンチマーク」の公式データとコード リリース。その他の例やベースラインについては、プロジェクト ページを参照してください。

ニュース (2024/04): DS-1000 は簡素化され、huggingface でホストされるようになりました。論文で説明されている元の形式を参照することもできます。

DS-1000の簡易フォーマット

これは、内容を変更せずに使いやすさを向上させるために DS-1000 データセットを再フォーマットしたものです。データセットは、huggingface とdata/ds1000.jsonl.gzでホストされています。

使用法

データセットをロードするには 2 つのオプションがあります

 # Option 1 load from huggingface
from datasets import load_dataset
ds1000 = list ( load_dataset ( "xlangai/DS-1000" )[ "test" ])

# Option 2 load from raw jsonl.gz
import gzip
ds1000 = [ json . loads ( l ) for l in gzip . open ( "data/ds1000.jsonl.gz" , "rt" ). readlines ()]

提供されたtest_ds1000.pyスクリプトは、 data/codex002-answers.jsonlで DS-1000 を評価します。

conda env create -f environment.yml
conda activate ds1000-3.10
# the test code also needs: pip install datasets tqdm
python test_ds1000.py

期待される出力:

           count   mean
lib                    
Matplotlib   155  0.548
Numpy        220  0.432
Pandas       291  0.265
Pytorch       68  0.397
Scipy        106  0.349
Sklearn      115  0.435
Tensorflow    45  0.378

DS-1000 overall
mean      0.388

結果フォルダー内の新しいモデルの結果も参照してください。

テスト スクリプトは生成されたコードを実行するため、独自のサンドボックスを使用することを強くお勧めしますが、リファレンス コードと提供されたソリューションは安全に実行できるようです。サンドボックスでは、いくつかのファイル操作 (matplotlib でのプロットの保存など) と OS 操作 (tensorflow、sklearn など) を許可する必要があります。

形式

フィールドpromptコンテキスト内の質問と、 result = ... # put solution this variableのような簡単な指示が含まれています。これは、一貫性を保つためのモデルの標準プロンプトです。

code_contextフィールドは、生成されたコードを引数として受け取り、その正確さを評価するtest_execution(solution: str)およびtest_string(solution: str)を定義します。 test_executionプロンプトに含まれるサンプル入力を、 generate_test_case(test_case_id)によって生成された入力に置き換えることによって機能し、出力 ( code_contextにも存在するリファレンス ソリューションによって生成される) をチェックします。 test_executionとtest_string (存在する場合) の両方に合格した場合、ソリューションは合格します。 code_contextの実行コンテキスト ( exec_context ) は、 promptによって提供されるものと同じです。

オリジナルからの変更点

• テストプロセスはクリーンアップされ、すべてcode_contextにマージされます。
  • code_contextコードを引数として受け取り、その正確さを評価するtest_execution(solution: str)とtest_string(solution: str)を定義します。
  • 削除: キャッシュされた pickle、pickle の読み取り/書き込み、複数のファイルの読み取り、個別のテスト スクリプト。
  • データサイズが162MBから3.4MBに縮小
• Python は 3.10 にアップグレードされ、ライブラリは最新バージョン ( environment.yml ) にアップグレードされます。
  • パフォーマンスがライブラリのバージョンと Python のバージョン (3.7 ～ 3.11) にあまり影響されないことを確認しました。
• 廃止されたparserモジュールを削除し、 tokenize使用した文字列テストを簡素化しました。
• サフィックスは出力形式を指定するためにのみ使用されていたため、挿入 (埋め込み) モードは削除されました。補完モードでの出力形式の指示は現行モデルでも簡単です。
• これは 1000 の問題の単純なリストになり、ライブラリ情報はmetadataに含まれます。

データセットを編集する

ds1000 を編集可能なファイルに変換するには、提供されているedit_ds1000.pyスクリプトを使用して、次のコマンドで問題リストを分割します。

 # specify --edit_dir according to your needs
python edit_ds1000.py --to_edit --edit_dir data/ds1000_edit

次の構造にします。

 data/ds1000_edit
├── 0 # problem id
    ├── prompt.txt
    ├── reference_code.txt
    ├── metadata.json
    └── code_context.py
├── 1
├── ...

編集後、次のコマンドを使用してデータセットをdata/ds1000.jsonlに再構築します。

python edit_ds1000.py --to_jsonl --edit_dir data/ds1000_edit

既知の問題

• 実行のごく一部はステートフルです (tensorflow と matplotlib)。したがって、各問題は独立したプロセスで実行する必要があります。これは順次テストでも発生します。

• 人間がラベルを付けたほとんどのデータと同様、少量のエラーが発生することが予想されます。さらに、目に見える曖昧さは排除しますが、プロンプトの正しい/誤った解釈の可能性をすべて予測することはできません。詳細は論文に記載されています。

• 輸入品のため、元のセットと多少の不一致があります。たとえば、 import a; abc()失敗することが予想されますが、プロセス内の他の場所でimport abが使用されている場合は失敗しません。これは、インポートを除くいくつかの正しいソリューションにのみ影響します。

クレジットの再フォーマット

貢献者

引用

私たちの仕事が役に立ったと思われる場合は、次のように引用してください

 @article{Lai2022DS1000,
  title={DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation},
  author={Yuhang Lai and Chengxi Li and Yiming Wang and Tianyi Zhang and Ruiqi Zhong and Luke Zettlemoyer and Scott Wen-tau Yih and Daniel Fried and Sida Wang and Tao Yu},
  journal={ArXiv},
  year={2022},
  volume={abs/2211.11501}
}