aeae

Exceso de confianza frente a la ambigüedad con datos adversos

Aeaeaeae

Contenido

Este es el repositorio del documento:

Configuración excesiva frente a la ambigüedad con datos adversos. Margaret Li* y Julian Michael,* Actas del primer taller sobre recopilación dinámica de datos adversos (DADC) en NAACL 2022.

(El acrónimo tonto es del nombre de trabajo original, "una evaluación ambigua de la evaluación adversaria")

En este repositorio:

• aeae/ : Código fuente de datos, métricas, etc.
• scripts/ : Puntos de entrada para ejecutar predicciones, evaluar y producir gráficos para nuestro análisis.

Errata

En el artículo, olvidamos mencionar que los datos de fiebre-nli se usaron junto con SNLI y MNLI para entrenar el modelo classical . Esto significa que classical está entrenada en todos los datos no recolectados de adversar en los que los modelos de semillas para ANLI fueron entrenados.

Uso

Este proyecto requiere Python 3 y está escrito con Allennlp y Pytorch.

Configuración de la estación de trabajo:

• Comience con python scripts/download.py desde el directorio base para descargar conjuntos de datos.
• Instale las dependencias de Python con pip install -r requirements.txt .
• Conjuntos de datos de preprocesos con python scripts/build_data.py .

Para verificar la cordura del entrenamiento, ejecutar

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

Esto entrenará un modelo en un pequeño subconjunto de MNLI usando CPU. El modo de cambio en consecuencia utiliza diferentes fuentes de datos (ver Basic.jsonnet) El dispositivo CUDA determina qué GPU se utiliza.

Documentación

Las instancias de NLI se preprocesan en el siguiente formato:

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

El resto de la documentación es TODO.