EvalAIダウンロード - EvalAIソースコードのダウンロード

EvalAI

その他のソースコード

valAI Version 1.1

ダウンロード

Evalaiは、規模の機械学習（ML）と人工知能（AI）アルゴリズムを評価および比較するためのオープンソースプラットフォームです。

近年、特定のタスクを他の既存のアプローチと解決するアルゴリズムを比較することがますます困難になっています。これらの比較は、アルゴリズムの実装、非標準のデータセットスプリットの使用、および異なる評価メトリックにわずかな違いに悩まされています。セントラルリーダーボードと提出インターフェイスを提供することにより、研究者が論文で言及されている結果を容易に再現し、信頼性の高い正確な定量分析を実行することを容易にします。その場での評価を高速化するマップレデュースフレームワークに基づいて迅速で堅牢なバックエンドを提供することにより、Evalaiは、研究者が技術論文の結果を容易に再現し、信頼できる正確な分析を実行することを目指しています。

特徴

カスタム評価プロトコルとフェーズ：任意の数の評価フェーズとデータセットスプリットの作成、プログラミング言語を使用した互換性、およびパブリックリーダーボードとプライベートリーダーボードの両方で結果を整理することができます。
リモート評価：特定の大規模な課題には、評価のための特別な計算機能が必要です。チャレンジに余分な計算能力が必要な場合、チャレンジオーガナイザーは、課題のホスティング、ユーザーの提出物の処理、リーダーボードの維持の世話をしながら、参加者の提出物を処理するために独自のワーカーノードのクラスターを簡単に追加できます。
環境内の評価：EvalAIでは、参加者が評価サーバー上のテスト環境に対して評価されるDocker画像の形でエージェントのコードを提出できます。評価中、ワーカーは画像、テスト環境、モデルのスナップショットを取得し、新しいコンテナをスピンして評価を実行します。
CLIサポート：Evalai-Cliは、Evalai Webアプリケーションの機能をコマンドラインに拡張して、プラットフォームをよりアクセスしやすくターミナルに優しいようにするように設計されています。
移植性：Evalaiは、このようなシステムのスケーラビリティと移植性を念頭に置いて設計されています。ほとんどのコンポーネントは、Docker、Django、Node.js、およびPostgreSQLのオープンソーステクノロジーに大きく依存しています。
高速評価：チャレンジコードをインポートし、メモリ内のデータセットを事前ロードすることにより、スタートアップ時にワーカーノードをウォームアップします。また、データセットを複数のコアで同時に評価する小さなチャンクに分割します。これらの簡単なトリックは、評価をより高速にし、評価時間を数桁短縮する場合があります。

ゴール

私たちの究極の目標は、世界中で組織されたAIの課題にホスト、参加、協力するための集中プラットフォームを構築することであり、AIでの進捗状況のベンチマークを支援したいと考えています。

インストール手順

ローカルマシンでevalaiをセットアップするのは本当に簡単です。 dockerを使用してevalaiをセットアップできます。手順は次のとおりです。

マシンにDockerとDocker-Composeをインストールします。

gitを介してソースコードをマシンにオンにします。

git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai

Dockerコンテナを構築して実行します。これにはしばらく時間がかかるかもしれません。
```
 docker-compose up --build
```
それでおしまい。 Webブラウザーを開き、URL http://127.0.0.1:8888を押します。デフォルトでは、以下にリストされている3人のユーザーが作成されます -
Superuser-ユーザー名： adminパスワード： password
ホストユーザーユーザー名： hostパスワード： password
参加者ユーザー -ユーザー名： participantパスワード： password

インストール中に問題に直面している場合は、インストールページ中に一般的なエラーをご覧ください。

引用evalai

課題をホストするためにevalaiを使用している場合は、次の技術レポートを引用してください。

 @article{EvalAI,
    title   =  {EvalAI: Towards Better Evaluation Systems for AI Agents},
    author  =  {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
                Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
                Singh and Stefan Lee and Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

チーム

Evalaiは現在、Rishabh Jain、Gunjan Chhablaniによって維持されています。その他の主要な貢献者の包括的なリストには、Desraj Yadav、Ram Ramrakhya、Akash Jain、Taranjeet Singh、Shiv Baran Singh、Harsh Agarwal、Prithvijit Chattopadhyay、Devi Parikh、Dhruv Batraが含まれます。