ARC AGI
ARC-AGI 1.0.2
Este repositório contém os dados da tarefa ARC-AGI, bem como uma interface baseada em navegador para que humanos possam tentar resolver as tarefas manualmente.
"O ARC pode ser visto como uma referência geral de inteligência artificial, como uma referência de síntese de programa ou como um teste de inteligência psicométrica. É direcionado tanto a humanos quanto a sistemas artificialmente inteligentes que visam emular uma forma humana de inteligência fluida geral."
Uma descrição completa do conjunto de dados, seus objetivos e sua lógica subjacente pode ser encontrada em: On the Measure of Intelligence.
Como lembrete, diz-se que um candidato resolve uma tarefa quando, ao ver a tarefa pela primeira vez, é capaz de produzir a grade de saída correta para todas as entradas de teste na tarefa (isso inclui escolher as dimensões da saída grade). Para cada entrada de teste, o candidato tem direito a 3 tentativas (isso vale para todos os participantes, sejam humanos ou IA).
O diretório data contém dois subdiretórios:
data/training : contém os arquivos de tarefas para treinamento (400 tarefas). Use-os para prototipar seu algoritmo ou para treiná-lo para adquirir antecedentes cognitivos relevantes para ARC.data/evaluation : contém os arquivos de tarefas para avaliação (400 tarefas). Use-os para avaliar seu algoritmo final. Para garantir resultados de avaliação justos, não vaze informações do conjunto de avaliação para seu algoritmo (por exemplo, observando você mesmo as tarefas de avaliação durante o desenvolvimento ou modificando repetidamente um algoritmo enquanto usa sua pontuação de avaliação como feedback).As tarefas são armazenadas no formato JSON. Cada arquivo JSON de tarefa contém um dicionário com dois campos:
"train" : pares de entrada/saída de demonstração. É uma lista de “pares” (normalmente 3 pares)."test" : testa pares de entrada/saída. É uma lista de “pares” (normalmente 1 par).Um "par" é um dicionário com dois campos:
"input" : a "grade" de entrada para o par."output" : a "grade" de saída do par.Uma "grade" é uma matriz retangular (lista de listas) de números inteiros entre 0 e 9 (inclusive). O menor tamanho de grade possível é 1x1 e o maior é 30x30.
Ao examinar uma tarefa, o candidato tem acesso às entradas e saídas dos pares de demonstração, além da(s) entrada(s) do(s) par(es) de teste. O objetivo é construir a(s) grade(s) de saída correspondente(s) à(s) grade(s) de entrada de teste, usando 3 tentativas para cada entrada de teste. "Construir a grade de saída" envolve escolher a altura e a largura da grade de saída e, em seguida, preencher cada célula da grade com um símbolo (número inteiro entre 0 e 9, que são visualizados como cores). Somente soluções exatas (todas as células correspondem à resposta esperada) podem ser consideradas corretas.
A interface de teste está localizada em apps/testing_interface.html . Abra-o em um navegador da web (recomenda-se o Chrome). Ele solicitará que você selecione um arquivo JSON de tarefa.
Após carregar uma tarefa, você entrará no espaço de teste, que se parece com isto:
À esquerda, você verá os pares de entrada/saída demonstrando a natureza da tarefa. No meio, você verá a grade de entrada de teste atual. À direita, você verá os controles que pode usar para construir a grade de saída correspondente.
Você tem acesso às seguintes ferramentas:
Quando sua grade de saída estiver pronta, clique no botão verde "Enviar!" botão para verificar sua resposta. Não aplicamos a regra das 3 tentativas.
Depois de obter a resposta correta para a grade de entrada de teste atual, você pode mudar para a próxima grade de entrada de teste da tarefa usando o botão "Próxima entrada de teste" (se houver alguma disponível; a maioria das tarefas tem apenas uma entrada de teste) .
Quando terminar uma tarefa, use o botão "carregar tarefa" para abrir uma nova tarefa.
