opencompassダウンロード - opencompassソースコードのダウンロード

opencompass

その他のソースコード

1.0.0

ダウンロード

英語 | 简体中文

Discord と WeChat で参加してください

重要

私たちにスターを付けてください。GitHub からすべてのリリース通知を遅滞なく受け取ります ~ ️

スターの歴史

いらっしゃいませ

オープンコンパスへ！

コンパスが私たちの旅を導いてくれるのと同じように、OpenCompass は大規模な言語モデルを評価する複雑な状況をガイドします。 OpenCompass は、強力なアルゴリズムと直感的なインターフェイスを備えているため、NLP モデルの品質と有効性を簡単に評価できます。

OpenCompass でチャンスを探ってください!現在、フルタイムの研究者/エンジニアおよびインターンを募集しています。 LLM と OpenCompass に興味がある場合は、遠慮せずに電子メールでご連絡ください。ぜひご連絡ください。

OpenCompass が Meta AI によって推奨されたことを発表できることをうれしく思います。詳細については、「Llama の開始」をクリックしてください。

注意
重大な変更通知: バージョン 0.4.0 では、すべての AMOTIC 設定ファイル (以前は ./configs/datasets、./configs/models、および ./configs/summarizers にありました) が opencompass パッケージに統合されています。ユーザーは、この構造の変更を反映するために構成参照を更新することをお勧めします。

リーダーボード

すべての公開モデルと API モデルをランク付けするための OpenCompass Leaderboard をコミュニティに提供します。評価に参加したい場合は、モデルリポジトリの URL または標準 API インターフェイスを電子メールアドレス[email protected]に送信してください。

トップに戻る

インストール

以下は、簡単なインストールとデータセットの準備の手順です。

環境設定

Python 環境を管理するには conda を使用することを強くお勧めします。

仮想環境を作成する

conda create --name opencompass python=3.10 -y
conda は opencompass をアクティブ化します

pip 経由で OpenCompass をインストールする

  pip install -U opencompass ## フルインストール (より多くのデータセットをサポート) # pip install "opencompass[full]" ## モデルアクセラレーションフレームワークを備えた環境 ## 仮想環境を使用してさまざまなアクセラレーションフレームワークを管理 ## 通常、依存関係の競合があるためお互い。  # pip install "opencompass[lmdeploy]" # pip install "opencompass[vllm]" ## API 評価 (Openai、Qwen) # pip install "opencompass[api]"

ソースから OpenCompass をインストールする
opencompass の最新機能を使用したい場合、または新しい機能を開発したい場合は、ソースからビルドすることもできます。
```
  git clone https://github.com/open-compass/opencompass opencompass cd opencompass
  pip install -e 。  # pip install -e ".[full]" # pip install -e ".[vllm]"
```

データの準備

データセットを準備するには、次の方法から 1 つを選択できます。

オフラインでの準備

次のコマンドを使用して、データセットをダウンロードして抽出できます。

 # データセットを data/folderwget にダウンロード https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
OpenCompassData-core-20240207.zip を解凍します。

OpenCompass からの自動ダウンロード

OpenCompass ストレージサーバーからのデータセットの自動ダウンロードをサポートしました。追加の--dry-runを使用して評価を実行し、これらのデータセットをダウンロードできます。現在、サポートされているデータセットはここにリストされています。最近さらに多くのデータセットがアップロードされる予定です。

(オプション) ModelScope による自動ダウンロード

また、ModelScope を使用して、オンデマンドでデータセットをロードすることもできます。

インストール:

 pip install modelscope[フレームワーク]export DATASET_SOURCE=ModelScope

次に、すべてのデータをローカルディスクにダウンロードせずに、評価タスクを送信します。利用可能なデータセットには次のものがあります。

 humaneval、triviaqa、commonsenseqa、tydiqa、strategyqa、cmmlu、lambada、piqa、ceval、math、LCSTS、Xsum、winogrande、openbookqa、AGIEval、gsm8k、nq、race、siqa、mbpp、mmlu、hellaswag、ARC、BBH、xstory_cloze、サミット、 GAOKAO-BENCH、OCNLI、cmnli

Humaneval や Llama などの一部のサードパーティ機能を正しく動作させるには、追加の手順が必要な場合があります。詳細な手順については、インストールガイドを参照してください。

トップに戻る

️評価

上記の手順に従って OpenCompass が正しくインストールされ、データセットが準備されていることを確認した後。これで、OpenCompass を使用して最初の評価を開始できます。

OpenCompass での最初の評価!
OpenCompass は、CLI または Python スクリプトを介した構成の設定をサポートしています。単純な評価設定の場合は CLI を使用することをお勧めします。より複雑な評価の場合は、スクリプトを使用することをお勧めします。 configs フォルダーの下にさらにサンプルスクリプトがあります。
```
 # CLIopencompass --models hf_internlm2_5_1_8b_chat --datasets Demon_gsm8k_chat_gen# Python スクリプトopencompass ./configs/eval_chat_demo.py
```
configs フォルダーの下にさらに多くのスクリプト例があります。

API評価

OpenCompass は、その設計上、オープンソースモデルと API モデルを実際には区別しません。両方のモデルタイプを同じ方法で評価することも、1 つの設定で評価することもできます。

 import OPENAI_API_KEY="YOUR_OPEN_API_KEY"# CLIopencompass --models gpt_4o_2024_05_13 --datasets Demon_gsm8k_chat_gen# Python scriptsopencompass ./configs/eval_api_demo.py# o1_mini_2024_09_12/o1_preview_2024_09_12 を使用できますo1 モデルの場合、デフォルトとして max_completion_tokens=8192 を設定します。

迅速な評価
さらに、高速評価に HuggingFace 以外の推論バックエンド (LMDeploy や vLLM など) を使用する場合は、以下のコマンドを使用できます。選択したバックエンドに必要なパッケージがインストールされていること、およびモデルがそれによる高速推論をサポートしていることを確認してください。詳細については、ここで推論アクセラレーションバックエンドに関するドキュメントを参照してください。以下は LMDeploy を使用した例です。
```
 # CLIopencompass --models hf_internlm2_5_1_8b_chat --datasets Demon_gsm8k_chat_gen -a lmdeploy# Python scriptsopencompass ./configs/eval_lmdeploy_demo.py
```
対応機種
OpenCompass には、多くのモデルとデータセット用の事前定義された構成があります。ツールを使用すると、利用可能なすべてのモデルとデータセット構成を一覧表示できます。
```
 # すべての設定をリストします。python tools/list_configs.py# llama および mmlup に関連するすべての設定をリストします。python tools/list_configs.py llama mmlu
```
モデルがリストにないものの、Huggingface AutoModel クラスでサポートされている場合は、OpenCompass で評価することもできます。 OpenCompass でサポートされているモデルとデータセットのリストのメンテナンスに貢献していただければ幸いです。
```
 opencompass --datasetsdemo_gsm8k_chat_gen --hf-type chat --hf-path internlm/internlm2_5-1_8b-chat
```
複数の GPU を使用してモデルをデータ並列で評価する場合は、 --max-num-worker使用できます。
```
 CUDA_VISIBLE_DEVICES=0,1 opencompass --datasetsdemo_gsm8k_chat_gen --hf-type chat --hf-path internlm/internlm2_5-1_8b-chat --max-num-worker 2
```

ヒント

--hf-num-gpusはモデル並列（ハグフェイス形式）に使用され、 --max-num-workerデータ並列に使用されます。

ヒント

_pplを使用した構成は、通常、ベースモデル用に設計されています。 _genを使用した構成は、ベースモデルとチャットモデルの両方に使用できます。

OpenCompass は、コマンドラインまたは構成ファイルを通じて、API またはカスタムモデルの評価や、より多様な評価戦略もサポートしています。評価タスクの実行方法については、クイックスタートをお読みください。

トップに戻る

オープンコンパス 2.0

CompassKit、CompassHub、CompassRank という 3 つの主要コンポーネントを備えた高度なスイートである OpenCompass 2.0 を導入できることを嬉しく思います。

CompassRank はリーダーボードに大幅に強化され、オープンソースのベンチマークと独自のベンチマークの両方が組み込まれるようになりました。このアップグレードにより、業界全体のモデルをより包括的に評価できるようになります。

CompassHub は、研究者や実務者向けに広範なベンチマークの調査と利用を簡素化および迅速化するように設計された、先駆的なベンチマークブラウザインターフェイスを提供します。コミュニティ内で独自のベンチマークの可視性を高めるために、CompassHub に貢献することを心よりお勧めします。ここをクリックすると、提出プロセスを開始できます。

CompassKit は、大規模言語モデルおよび大規模ビジョン言語モデル向けに特別に調整された評価ツールキットの強力なコレクションです。これらの複雑なモデルのパフォーマンスを効果的に評価および測定するための広範なツールセットが提供されます。あなたの研究や製品に当社のツールキットをぜひお試しください。

導入

OpenCompass は、大規模モデル評価のための公平、オープン、再現可能なベンチマークを提供することを目的とした、大規模モデル評価のためのワンストッププラットフォームです。その主な機能は次のとおりです。

モデルとデータセットの包括的なサポート: 20 を超える HuggingFace および API モデル、約 400,000 の質問を含む 70 を超えるデータセットのモデル評価スキームを事前サポートし、モデルの機能を 5 つの次元で包括的に評価します。
効率的な分散評価: 1 行のコマンドでタスク分割と分散評価を実装し、数十億規模のモデルの完全な評価をわずか数時間で完了します。
多様な評価パラダイム: ゼロショット評価、少数ショット評価、および思考連鎖評価をサポートし、標準または対話型のプロンプトテンプレートと組み合わせて、さまざまなモデルの最大パフォーマンスを簡単に刺激します。
高い拡張性を備えたモジュラー設計: 新しいモデルやデータセットを追加したり、高度なタスク分割戦略をカスタマイズしたり、新しいクラスター管理システムをサポートしたりしたいですか? OpenCompass のすべてを簡単に拡張できます。
実験の管理とレポートのメカニズム: 構成ファイルを使用して各実験を完全に記録し、結果のリアルタイムのレポートをサポートします。

データセットのサポート

言語	知識	推論	検査
単語の定義 WiC SummEdits イディオム学習子供意味上の類似性 AFQMC バスTM 相互参照の解像度クルースク WSC ウィノグランデ翻訳フローレス島 IWSLT2017 多言語での質問応答 TyDi-QA XCOPA 多言語の概要 XLSum	知識に関する質問への回答ブールQ CommonSenseQA 自然な質問雑学QA	テキストの含意 CMNLI OCNLI OCNLI_FC AX-b AX-g CB RTE アンリ常識的な推論ストーリー閉じるコパ記録ヘラスワッグピカシカ数学的推論数学 GSM8K 定理の応用定理QA 戦略QA サイエンスベンチ総合的な推論 BBH	中学・高校・大学・専門試験 C-評価 AGIEval MMLU GAOKAOベンチ CMMLU アーク謝枝健康診断 CMB
理解	長いコンテキスト	安全性	コード
読解 C3 CMRC DRCD マルチRC 人種落とす OpenBookQA SQuAD2.0 コンテンツの概要 CSL LCSTS XSum サムスクリーンコンテンツ分析 EPRSTMT ランバダ Tニュース	長い文脈の理解 LEval ロングベンチ政府報告書ナラティブQA カスパー	安全性シビルコメントカラスペア C値ジグソー多言語真実のQA 堅牢性 AdvGLUE	コード HumanEval HumanEvalX MBPP アプリ DS1000

モデルのサポート

オープンソースモデル	APIモデル
アルパカ白川ブルーLM チャットGLM2 チャットGLM3 ジェマインターンLM ラマ LLaMA3 クウェンタイガーボットビクーニャウィザードLM イー ……	OpenAI ジェミニクロード ZhipuAI(チャットGLM) 白川バイトダンス(YunQue) ファーウェイ(盤古) 360 百度(ERNIEBot) MiniMax(ABAB-チャット) センスタイム(nova) シュンフェイ(スパーク) ……

トップに戻る

ロードマップ

貢献する

OpenCompass の改善へのあらゆる貢献に感謝いたします。ベストプラクティスについては、貢献ガイドラインを参照してください。

謝辞

このプロジェクトの一部のコードは OpenICL から引用および変更されています。

一部のデータセットとプロンプトの実装は、chain-of-thought-hub と instruct-eval から変更されています。

引用

@misc{2023opencompass、title={OpenCompass: 基礎モデルのためのユニバーサル評価プラットフォーム}、author={OpenCompass Contributors}、howpublished = {url{https://github.com/open-compass/opencompass}}、year={ 2023}}

トップに戻る

拡大する

追加情報