EvalAI Download - EvalAI Quellcode herunterladen

EvalAI

Anderer Quellcode

valAI Version 1.1

Herunterladen

Evalai ist eine Open -Source -Plattform zum Bewerten und Vergleich von Algorithmen für maschinelles Lernen (ML) und künstlicher Intelligenz (AI) im Maßstab.

In den letzten Jahren wurde es immer schwieriger, einen Algorithmus zu vergleichen, der eine bestimmte Aufgabe mit anderen vorhandenen Ansätzen löst. Diese Vergleiche leiden unter geringfügigen Unterschieden in der Algorithmus-Implementierung, der Verwendung von nicht standardmäßigen Datensatzaufteilungen und unterschiedlichen Bewertungsmetriken. Durch die Bereitstellung einer zentralen Ranglisten- und Einreichungsschnittstelle erleichtern wir den Forschern die im Papier genannten Ergebnisse und eine zuverlässige und genaue quantitative Analyse. Durch die Bereitstellung von schnellen und robusten Backends, die auf MAP-Reduce-Frameworks basieren, die die Bewertung im laufenden Fliegen beschleunigen, soll Evalai es den Forschern erleichtern, Ergebnisse aus technischen Papieren zu reproduzieren und zuverlässige und genaue Analysen durchzuführen.

Merkmale

Benutzerdefinierte Evaluierungsprotokolle und -phasen : Wir ermöglichen die Erstellung einer willkürlichen Anzahl von Bewertungsphasen und Datensatzaufteilungen, Kompatibilität unter Verwendung einer beliebigen Programmiersprache und der Organisation von Ergebnissen sowohl in öffentlichen als auch in privaten Besten.
Remote-Bewertung : Bestimmte groß angelegte Herausforderungen erfordern spezielle Berechnungsfunktionen für die Bewertung. Wenn die Herausforderung zusätzliche Rechenleistung erfordert, können die Herausforderung den Organisatoren problemlos ihre eigene Cluster von Arbeiterknoten hinzufügen, um die Einreichungen der Teilnehmer zu verarbeiten, während wir uns um das Hosting der Herausforderung, die Bearbeitung von Benutzereinreichungen und die Aufrechterhaltung der Rangliste kümmern.
Bewertung in Umgebungen : Mit Evalai können die Teilnehmer Code für ihren Agenten in Form von Docker -Bildern einreichen, die an Testumgebungen auf dem Evaluierungsserver ausgewertet werden. Während der Bewertung holt der Arbeiter die Bild-, Testumgebung und den Modell -Snapshot und dreht einen neuen Container, um die Bewertung durchzuführen.
CLI-Unterstützung : Evalai-CLI wurde entwickelt, um die Funktionalität der Evalai-Webanwendung auf Ihre Befehlszeile zu erweitern, um die Plattform zugänglicher und terminalfreundlicher zu gestalten.
Portabilität : Evalai ist so konzipiert, dass die Skalierbarkeit und Portabilität eines solchen Systems von Anfang an die Idee berücksichtigt wird. Die meisten Komponenten stützen sich stark auf Open-Source-Technologien-Docker, Django, Node.js und PostgreSQL.
Schnellere Bewertung : Wir haben die Arbeiterknoten beim Start aufwärmen, indem wir den Challenge-Code importieren und den Datensatz im Speicher vorladen. Wir teilen den Datensatz auch in kleine Stücke auf, die gleichzeitig an mehreren Kernen bewertet werden. Diese einfachen Tricks führen zu einer schnelleren Bewertung und verkürzen die Bewertungszeit in einigen Fällen um eine Größenordnung.

Ziel

Unser ultimatives Ziel ist es, eine zentralisierte Plattform aufzubauen, um auf der ganzen Welt organisiert zu sein, teilzunehmen und an KI -Herausforderungen zu arbeiten, und wir hoffen, dass wir beim Benchmarking -Fortschritt in der KI helfen.

Installationsanweisungen

Das Einrichten von Evalai auf Ihrer lokalen Maschine ist wirklich einfach. Sie können Evalai mit Docker einrichten: Die Schritte sind:

Installieren Sie Docker und Docker-Compose auf Ihrem Computer.

Holen Sie sich den Quellcode über Git auf Ihren Computer.

git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai

Bauen und führen Sie die Docker -Container aus. Dies könnte eine Weile dauern.
```
 docker-compose up --build
```
Das war's. Öffnen Sie den Webbrowser und drücken Sie die URL http://127.0.0.1:8888. Drei Benutzer werden standardmäßig erstellt, die unten aufgeführt sind -
Superuser- Benutzername: admin Passwort: password
Hostbenutzer- Benutzername: host Passwort: password
Teilnehmer Benutzer- Benutzername: participant Passwort: password

Wenn Sie während der Installation auf ein Problem stehen, finden Sie in unseren gemeinsamen Fehlern auf der Installationsseite.

Unter Berufung auf Evalai

Wenn Sie Evalai für Hosting -Herausforderungen verwenden, geben Sie den folgenden technischen Bericht an:

 @article{EvalAI,
    title   =  {EvalAI: Towards Better Evaluation Systems for AI Agents},
    author  =  {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
                Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
                Singh and Stefan Lee and Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

Team

Evalai wird derzeit von Rishabh Jain, Gunjan Chhablani, unterhalten. Eine nicht exexhustive Liste anderer wichtiger Mitarbeiter umfasst: Deshraj Yadav, Ram Ramrakhya, Akash Jain, Taranjeet Singh, Shiv Baran Singh, Harsh Agarwal, Prithvijit Chattopadhyay, Devi Parikh und Dhruv Batra.