ARC AGI
ARC-AGI 1.0.2
Этот репозиторий содержит данные задач ARC-AGI, а также браузерный интерфейс, позволяющий людям попробовать свои силы в решении задач вручную.
«ARC можно рассматривать как общий тест искусственного интеллекта, как тест синтеза программ или как тест психометрического интеллекта. Он нацелен как на людей, так и на системы искусственного интеллекта, целью которых является имитация человекоподобной формы общего гибкого интеллекта».
Полное описание набора данных, его целей и лежащей в его основе логики можно найти в книге «О показателе интеллекта».
Напомним, что тестируемый считается решившим задачу, когда, впервые увидев задачу, он может создать правильную сетку выходных данных для всех тестовых входных данных в задаче (это включает в себя выбор размеров выходных данных). сетка). Для каждого входного теста испытуемому разрешено 3 попытки (это справедливо для всех испытуемых, как людей, так и искусственного интеллекта).
Каталог data содержит два подкаталога:
data/training : содержит файлы задач для обучения (400 задач). Используйте их для создания прототипа вашего алгоритма или для его обучения получению когнитивных априорных значений, связанных с ARC.data/evaluation : содержит файлы задач для оценки (400 задач). Используйте их для оценки окончательного алгоритма. Чтобы обеспечить справедливые результаты оценки, не допускайте утечки информации из набора оценок в ваш алгоритм (например, самостоятельно просматривая задачи оценки во время разработки или неоднократно изменяя алгоритм, используя его оценочную оценку в качестве обратной связи).Задачи хранятся в формате JSON. Каждый файл JSON задачи содержит словарь с двумя полями:
"train" : демонстрация пар ввода/вывода. Это список «пар» (обычно 3 пары)."test" : проверка пар ввода/вывода. Это список «пар» (обычно 1 пара).«Пара» — это словарь с двумя полями:
"input" : входная «сетка» для пары."output" : выходная «сетка» для пары.«Сетка» — это прямоугольная матрица (список списков) целых чисел от 0 до 9 (включительно). Наименьший возможный размер сетки — 1x1, а наибольший — 30x30.
При рассмотрении задачи тестируемый имеет доступ ко входным и выходным данным демонстрационных пар, а также к входным данным тестовой пары. Цель состоит в том, чтобы построить выходную сетку(и), соответствующую входной сетке теста, используя 3 испытания для каждого тестового входного сигнала. «Построение выходной сетки» включает в себя выбор высоты и ширины выходной сетки, а затем заполнение каждой ячейки сетки символом (целое число от 0 до 9, которые визуализируются в виде цветов). Только точные решения (все ячейки соответствуют ожидаемому ответу) можно назвать правильными.
Интерфейс тестирования находится по адресу apps/testing_interface.html . Откройте его в веб-браузере (рекомендуется Chrome). Вам будет предложено выбрать JSON-файл задачи.
После загрузки задачи вы попадете в тестовое пространство, которое выглядит следующим образом:
Слева вы увидите пары ввода/вывода, демонстрирующие характер задачи. В середине вы увидите текущую сетку ввода теста. Справа вы увидите элементы управления, которые можно использовать для построения соответствующей выходной сетки.
У вас есть доступ к следующим инструментам:
Когда ваша выходная сетка будет готова, нажмите зеленую кнопку «Отправить!» кнопку, чтобы проверить свой ответ. Мы не соблюдаем правило трех попыток.
После того, как вы получили правильный ответ для текущей сетки тестового ввода, вы можете переключиться на следующую сетку тестового ввода для задачи с помощью кнопки «Следующий тестовый ввод» (если таковая имеется; большинство задач имеют только один тестовый ввод) .
Когда вы закончите с задачей, используйте кнопку «Загрузить задачу», чтобы открыть новую задачу.
