EvalAI

---

Evalai - это платформа с открытым исходным кодом для оценки и сравнения алгоритмов машинного обучения (ML) и искусственного интеллекта (ИИ) в масштабе.

В последние годы становится все труднее сравнивать алгоритм, решающий данную задачу с другими существующими подходами. Эти сравнения страдают от незначительных различий в реализации алгоритма, использования нестандартных наборов наборов данных и различных показателей оценки. Предоставляя центральную таблицу лидеров и интерфейс подчинения, мы облегчаем исследователям воспроизвести результаты, упомянутые в статье, и выполнить надежный и точный количественный анализ. Предоставляя быстрые и надежные бэкэнды на основе карт-восстановления, которые ускоряют оценку на лету, Evalai стремится упростить исследователям исследователям воспроизводить результаты технических документов и выполнить надежный и точный анализ.

Функции

• Пользовательские протоколы оценки и фазы : мы разрешаем создание произвольного числа этапов оценки и сплит для наборов данных, совместимость с использованием любого языка программирования и организации результатов как в общественных, так и в частных лидерах.

• Удаленная оценка : определенные крупномасштабные проблемы требуют специальных вычислительных возможностей для оценки. Если задача нуждается в дополнительной вычислительной мощности, организаторы вызов могут легко добавить свой собственный кластер рабочих узлов для обработки предложений участников, в то время как мы заботимся о размещении вызова, обработке представлений пользователей и поддержании таблицы лидеров.

• Оценка внутри сред : Evalai позволяет участникам отправлять код для своего агента в форме изображений Docker, которые оцениваются по тестовым средам на сервере оценки. Во время оценки работник получает изображение, тестовую среду и модель моментального снимка и разворачивает новый контейнер для выполнения оценки.

• Поддержка CLI : Evalai-CLI предназначен для расширения функциональности веб-приложения Evalai на вашу командную строку, чтобы сделать платформу более доступной и удобной для терминалов.

• Портативность : Evalai разработан с учетом масштабируемости и переносимости такой системы с самого начала идеи. Большинство компонентов в значительной степени полагаются на технологии с открытым исходным кодом-Docker, Django, Node.js и Postgresql.

• Более быстрая оценка : мы согреваем рабочие узлы при запуске, импортируя код задачи и предварительно загружая набор данных в память. Мы также разделили набор данных на небольшие куски, которые одновременно оцениваются по нескольким ядрам. Эти простые трюки приводят к более быстрой оценке и в некоторых случаях сокращают время оценки на порядок.

Цель

Наша конечная цель - построить централизованную платформу для размещения, участия и сотрудничества в испытаниях ИИ, организованных по всему миру, и мы надеемся помочь в сравнительном анализе в области искусственного интеллекта.

Инструкции по установке

Настройка оценки на вашей местной машине действительно проста. Вы можете настроить Evalai с помощью Docker: шаги:

1. Установите Docker и Docker-Compose на вашей машине.

2. Получите исходный код на свою машину через GIT.

   git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai

3. Создайте и запустите контейнеры Docker. Это может занять некоторое время.

    docker-compose up --build
   

4. Вот и все. Откройте веб -браузер и нажмите на URL http://127.0.0.1:8888. Три пользователя будут созданы по умолчанию, которые перечислены ниже -

   SuperUser- имя пользователя: пароль admin : password
   Хост пользователь- имя пользователя : пароль host : password
   Участник пользователь- имя пользователя: пароль participant : password

Если вы столкнетесь с какой -либо проблемой во время установки, см. Наши общие ошибки во время страницы установки.

Цитируя evalai

Если вы используете Evalai для хостинга, пожалуйста, укажите следующий технический отчет:

 @article{EvalAI,
    title   =  {EvalAI: Towards Better Evaluation Systems for AI Agents},
    author  =  {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
                Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
                Singh and Stefan Lee and Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

Команда

Evalai в настоящее время поддерживается Ришабхом Джайном, Гунджаном Чхаблани. Неопространенный список других основных участников включает в себя: Дешрадж Ядав, Рам Рамрахья, Акаш Джайн, Таранджит Сингх, Шив Баран Сингх, Харш Агарвал, Притвиджит Чаттопадхьяй, Деви Парих и Дхрув Батра.

Руководящие принципы вклада

Если вы заинтересованы в участии в Evalai, следуйте нашим руководящим принципам взноса.

Участники