EvalAI
valAI Version 1.1
Evalai是評估和比較機器學習（ML）和人工智能（AI）算法的開源平台。
近年來，比較解決給定任務與其他現有方法的算法變得越來越困難。這些比較在算法實施，非標準數據集拆分和不同的評估指標上的差異很小。通過提供中央排行榜和提交界面，我們使研究人員更容易複製論文中提到的結果並進行可靠且準確的定量分析。通過基於地圖減少的框架提供快速速度的快速後端，以速度快速評估，Eadai的目的是使研究人員更容易從技術論文中復制結果並進行可靠，準確的分析。
自定義評估協議和階段：我們允許創建任意數量的評估階段和數據集拆分，使用任何編程語言的兼容性，並在公共和私人排行榜中組織結果。
遠程評估：某些大規模挑戰需要特殊的計算能力進行評估。如果挑戰需要額外的計算能力，挑戰組織者可以輕鬆地添加自己的工人節點群來處理參與者提交的內容，同時我們照顧挑戰，處理用戶提交和維護排行榜。
在環境內部的評估：evalai允許參與者以docker圖像的形式提交代理的代碼，這些代理會根據評估服務器上的測試環境進行評估。在評估過程中，工人獲取圖像，測試環境和模型快照，並旋轉一個新容器以進行評估。
CLI支持：Evaliai-CLI旨在將Extai Web應用程序的功能擴展到您的命令行，以使平台更容易訪問和終端友好。
可移植性：evalai的設計是從想法開始時保持這種系統的心態和可移植性。大多數組件都在很大程度上依賴開源技術 - Docker，Django，Node.js和PostgreSQL。
更快的評估：我們通過導入挑戰代碼並將數據集預處在內存中預處理來為啟動時的工人節點進行熱身。我們還將數據集分成小塊，這些塊在多個內核上同時評估。這些簡單的技巧導致評估更快，並在某些情況下減少了評估時間的數量級。
我們的最終目標是建立一個集中式平台，以主持，參與和協作在全球範圍內組織的AI挑戰，我們希望幫助基於AI的進度進行基準測試。
在本地機器上設置評估真的很容易。您可以使用Docker設置Evalai：這些步驟是：
在計算機上安裝Docker和Docker-Compose。
通過git將源代碼輸入計算機。
git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai構建並運行Docker容器。這可能需要一段時間。
docker-compose up --build
就是這樣。打開Web瀏覽器並點擊URL http://127.0.0.1：8888。默認情況下將創建三個用戶 - 下面列出 -
超級用戶 - 用戶名： admin密碼： password
主機用戶 -用戶名： host密碼： password
參與者用戶 -用戶名： participant密碼： password
如果您在安裝過程中面臨任何問題，請在安裝頁面期間查看我們的常見錯誤。
如果您正在使用Evalai進行挑戰，請引用以下技術報告：
@article{EvalAI,
title = {EvalAI: Towards Better Evaluation Systems for AI Agents},
author = {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
Singh and Stefan Lee and Dhruv Batra},
year = {2019},
volume = arXiv:1902.03570
}
目前由Rishabh Jain，Gunjan Chhablani維護。其他主要貢獻者的非竭力清單包括：Deshraj Yadav，Ram Ramrakhya，Akash Jain，Taranjeet Singh，Shiv Baran Singh，Harsh Agarwal，Prithvijit Chattopadhyay，Devi Parikh和Dhruv Batra。
如果您有興趣為Evalai做出貢獻，請遵循我們的貢獻指南。
