EvalAI 다운로드 - EvalAI 소스 코드 다운로드

EvalAI

기타 소스코드

valAI Version 1.1

다운로드

Evalai는 기계 학습 (ML) 및 인공 지능 (AI) 알고리즘을 규모로 평가하고 비교하기위한 오픈 소스 플랫폼입니다.

최근 몇 년 동안 주어진 작업을 다른 기존 접근법과 해결하는 알고리즘을 비교하는 것이 점점 어려워졌습니다. 이러한 비교는 알고리즘 구현의 약간의 차이, 비표준 데이터 세트 스플릿의 사용 및 다른 평가 지표로 인해 발생합니다. 중앙 리더 보드 및 제출 인터페이스를 제공함으로써 연구원들은 논문에 언급 된 결과를 더 쉽게 재현하고 신뢰할 수 있고 정확한 정량적 분석을 수행 할 수 있습니다. Evalai는 즉시 평가 속도 속도를 높이는 MAP- 유도 프레임 워크를 기반으로 신속하고 강력한 백엔드를 제공함으로써 연구자들이 기술 논문의 결과를보다 쉽게 재현하고 신뢰할 수 있고 정확한 분석을 수행 할 수 있도록하는 것을 목표로합니다.

특징

맞춤형 평가 프로토콜 및 단계 : 우리는 임의의 수의 평가 단계 및 데이터 세트 분할, 모든 프로그래밍 언어를 사용한 호환성 및 공개 및 개인 리더 보드에서 결과를 구성 할 수 있습니다.
원격 평가 : 특정 대규모 과제에는 평가를 위해 특별한 컴퓨팅 기능이 필요합니다. 도전에 추가 계산 능력이 필요한 경우, 도전 주최자는 도전을 호스팅하고 사용자 제출물을 처리하며 리더 보드를 유지하는 동안 참가자 제출을 처리하기 위해 자신의 작업자 노드 클러스터를 쉽게 추가 할 수 있습니다.
환경 내부 평가 : Evalai를 사용하면 참가자가 평가 서버의 테스트 환경에 대해 평가되는 Docker 이미지 형태로 에이전트에 대한 코드를 제출할 수 있습니다. 평가하는 동안 작업자는 이미지, 테스트 환경 및 모델 스냅 샷을 가져와 새로운 컨테이너를 회전시켜 평가를 수행합니다.
CLI 지원 : Evalai-Cli는 플랫폼에보다 액세스 할 수 있고 터미널 친화적 인 플랫폼을 사용하여 Evalai 웹 응용 프로그램의 기능을 명령 줄로 확장하도록 설계되었습니다.
이식성 : Evalai는 아이디어가 시작될 때부터 그러한 시스템의 확장 성과 이식성을 염두에두고 설계되었습니다. 대부분의 구성 요소는 Docker, Django, Node.js 및 PostgreSQL과 같은 오픈 소스 기술에 크게 의존합니다.
더 빠른 평가 : 도전 코드를 가져 와서 메모리에서 데이터 세트를 사전로드하여 시작시 작업자 노드를 워밍업합니다. 또한 여러 코어에서 동시에 평가되는 작은 청크로 데이터 세트를 분할합니다. 이러한 간단한 속임수는 더 빠른 평가를 초래하고 어떤 경우에는 평가 시간을 크기로 줄입니다.

목표

우리의 궁극적 인 목표는 전세계에서 조직 된 AI 과제에서 호스트, 참여 및 협력 할 수있는 중앙 집중식 플랫폼을 구축하는 것이며 AI의 진행 상황을 벤치마킹하는 데 도움을주기를 희망합니다.

설치 지침

로컬 컴퓨터에 Evalai를 설정하는 것은 정말 쉽습니다. Docker를 사용하여 Evalai를 설정할 수 있습니다. 단계는 다음과 같습니다.

기계에 Docker 및 Docker-Compose를 설치하십시오.

git을 통해 소스 코드를 컴퓨터로 가져옵니다.

git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai

Docker 컨테이너를 빌드하고 실행하십시오. 시간이 걸릴 수 있습니다.
```
 docker-compose up --build
```
그게 다야. 웹 브라우저를 열고 URL http://127.0.0.1:8888을 누르십시오. 3 명의 사용자가 아래에 나열된 기본적으로 생성됩니다.
SuperUser- 사용자 이름 : admin 비밀번호 : password
호스트 사용자- 사용자 이름 : host 비밀번호 : password
참가자 사용자 이름 : participant 비밀번호 : password

설치 중에 문제가 발생하는 경우 설치 페이지에서 일반적인 오류를 참조하십시오.

인용 Evalai

호스팅 과제를 위해 Evalai를 사용하는 경우 다음 기술 보고서를 인용하십시오.

 @article{EvalAI,
    title   =  {EvalAI: Towards Better Evaluation Systems for AI Agents},
    author  =  {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
                Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
                Singh and Stefan Lee and Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

팀

Evalai는 현재 Gunjan Chhablani의 Rishabh Jain에 의해 유지됩니다. 다른 주요 기고자들의 비수증적인 목록에는 Deshraj Yadav, Ram Ramrakhya, Akash Jain, Taranjeet Singh, Shiv Baran Singh, Harsh Agarwal, Prithvijit Chattopadhyay, Devi Parikh 및 Dhruv Batra가 포함됩니다.