aeae

Überbewusstsein angesichts der Mehrdeutigkeit mit kontroversen Daten

Aeaeaeaeae

Inhalt

Dies ist das Repository für das Papier:

Überbewusstsein angesichts der Mehrdeutigkeit mit kontroversen Daten. Margaret Li* und Julian Michael* Proceedings des ersten Workshops zur dynamischen kontroversen Datenerfassung (DADC) bei NAACL 2022.

(Das alberne Akronym stammt aus dem ursprünglichen Arbeitsnamen "Eine mehrdeutige Bewertung der kontroversen Bewertung").

In diesem Repository:

• aeae/ : Quellcode für Daten, Metriken usw.
• scripts/ : Einstiegspunkte zum Ausführen von Vorhersagen, Bewertung und Erzeugung von Diagrammen für unsere Analyse.

Erratum

In der Zeitung vergessen wir zu erwähnen, dass die Fever-NLI-Daten zusammen mit SNLI und MNLI verwendet wurden, um das classical Modell zu trainieren. Dies bedeutet, dass classical für alle nicht -advertarisch gesammelten Daten geschult wird, auf die die Saatgutmodelle für ANLI trainiert wurden.

Verwendung

Dieses Projekt erfordert Python 3 und wird mit Allennlp und Pytorch geschrieben.

Workstation Setup:

• Beginnen Sie mit python scripts/download.py aus dem Basisverzeichnis, um Datensätze herunterzuladen.
• Installieren Sie Python -Abhängigkeiten mit pip install -r requirements.txt .
• Vorverarbeitungsdatensätze mit python scripts/build_data.py .

Zum Modelltraining für die Vernunftprüfung, leiten Sie

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

Dadurch trainiert ein Modell auf einer winzigen Untergruppe von MNLI mit CPU. Der Änderungsmodus verwendet entsprechend unterschiedliche Datenquellen (siehe Basic.jsonNet). Das CUDA -Gerät bestimmt, welche GPU verwendet wird.

Dokumentation

NLI -Instanzen sind in das folgende Format vorverarbeitet:

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

Der Rest der Dokumentation ist Todo.