OD SWE benchダウンロード - OD SWE benchソースコードのダウンロード

OD SWE bench

その他のソースコード

ダウンロード

SWE ラマのカウィ

| 日本語 |英語 | 中文简体 | 繁体字中国語 |

ICLR 2024 論文 SWE ベンチのコードとデータ: 言語モデルは現実世界の GitHub の問題を解決できますか?

SWE ベンチベンチマークの最新の更新情報については、公開リーダーボードと変更ログについては Web サイトを参照してください。

?ニュース

【4月15、2024] : SWE ベンチは、評価ハーネスの問題を解決するために大幅な改善が行われました。詳細については、レポートをご覧ください。
【4月2, 2024] : 完全な SWE ベンチテストセットに最先端の機能を設定する SWE エージェントをリリースしました。 (ツイート?)
[1月] 16, 2024] : SWE-bench が ICLR 2024 に口頭発表として採択されました。 (オープンレビュー?)

概要

SWE ベンチは、GitHub から収集された現実世界のソフトウェアの問題に関する大規模な言語モデルを評価するためのベンチマークです。コードベースと問題が与えられると、言語モデルは、記述された問題を解決するパッチを生成するタスクを負います。

SWE ベンチにアクセスするには、次のコードをコピーして実行します。

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

設定

ソースから SWE ベンチを構築するには、次の手順に従います。

このリポジトリのクローンをローカルに作成します
リポジトリにcdます。
conda env create -f environment.ymlを実行して、 swe-benchという名前の conda 環境を作成します。
conda activate swe-benchで環境をアクティブ化する

?使用法

SWE ベンチデータセットは、直接 (開発、テストセット)、または HuggingFace からダウンロードできます。

SWE-Bench を使用するには、次のことができます。

前処理されたデータセットで独自のモデルをトレーニングします
既存のモデル (LLaMA などのディスク上にあるモデル、または GPT-4 などの API を介してアクセスできるモデル) で推論を実行します。推論ステップでは、リポジトリと問題を取得し、モデルにそれに対する修正の生成を試行させます。
SWE ベンチに対してモデルを評価します。ここでは、SWE-Bench タスクとモデルによって提案されたソリューションを取得し、その正確さを評価します。
新しい SWE-Bench タスクを作成するには、独自のリポジトリで SWE-bench のデータ収集手順を実行します。

ダウンロード

データセット	モデル
? SWEベンチ	? SWE-ラマ 13b
? 「オラクル」の検索	? SWE-ラマ 13b (PEFT)
? BM25 回収 13K	? SWE-ラマ 7b
? BM25 回収 27K	? SWE-ラマ 7b (PEFT)
? BM25 リトリーバル 40K
? BM25 取得 50K (ラマトークン)

?チュートリアル

SWE-bench のさまざまな部分の使用方法については、次のブログ投稿も作成しました。特定のトピックに関する投稿をご覧になりたい場合は、問題を通じてお知らせください。

[2023.11.1] SWE-Bench (?) の評価タスクの収集
[2023 年 11 月 6 日] SWE ベンチ (?) での評価

?貢献

NLP、機械学習、ソフトウェアエンジニアリングの幅広い研究コミュニティからの意見をお待ちしています。また、あらゆる貢献、プルリクエスト、問題点を歓迎します。これを行うには、新しいプルリクエストを提出するか、対応するテンプレートに必要事項を入力して発行してください。すぐにフォローアップさせていただきます。

連絡担当者: Carlos E. Jimenez と John Yang (電子メール: {carlosej, jy1682}@princeton.edu)。

✍️引用

私たちの取り組みが役立つと思われる場合は、次の引用を使用してください。

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}