acl anthology network Download - acl anthology network Quellcode herunterladen

acl anthology network

Anderer Quellcode

Herunterladen

Derivate des ACL Anthology Network

aanrelease2013.tar.gz ist ein Chaos.

Kodierungen gibt es überall.
Einige Daten fehlen offensichtlich oder sind vorhanden, aber beschädigt.
Es ist unklar, welche Dateien die Rohdaten sind und welche aus diesen Daten abgeleitete Statistiken sind.
Dateien, die so aussehen, als wären sie die Ausgaben von Skripten, sind in Wirklichkeit die Hilfemeldungen dieser Skripte.
Viele der papers_text/ -Dateien (aus dem PDF extrahierter reiner Text) weisen Probleme auf:
- Einige sind aufgrund einer nicht konformen PDF-Kodierung unverständlich (z. B. P00-1032 , W06-3709 ).
- Andere sind aufgrund schlechter OCR im Original-PDF in unterschiedlichem Maße unverständlich (von problematisch, z. B. T75-2033 , bis hin zu unbrauchbar, z. B. J79-1013 ).
- Andere sind nicht auf Englisch (z. B. C73-2029 ).
- Andere enthalten den Text einer völlig anderen Arbeit (z. B. L08-1302 ).

Makefile stellt deklarativ eine Dokumentation der Probleme und der damit verbundenen Bereinigungsarbeiten bereit.

Dieses Repository enthält keine der Originaldaten, sondern nur eine programmatische Beschreibung, wie das Problem behoben werden kann.

Rufen Sie zum Ausführen make im Stammverzeichnis auf.

Zusammenfassende Statistiken

Die ACL Anthology Network-Schnittstelle der University of Michigan CLAIR Group meldet die folgenden Statistiken:

Messen	Wert
Anzahl der Papiere	21.212
Anzahl der Autoren	17.792
Anzahl der Veranstaltungsorte	342
Anzahl der Papierzitate	110.975
Anzahl der Autorenkooperationen	142.450
Durchmesser des Zitiernetzwerks	22
Durchmesser des Kollaborationsnetzwerks	15

Einige davon sind ungenau oder beschreiben nur eine der Datenquellen. Verschiedene Quellen im Datensatz enthalten unterschiedliche Teilmengen der Daten; Beispielsweise werden Zitate für einige Arbeiten gemeldet, für die es keine entsprechende papers_text/ -Datei gibt (z. B. L08-1098 ).

`aan/release/2013/acl.txt`

Messen	Wert
Zitieren → zitierte Beziehungen	110.930
einzigartige zitierende Papiere	16.554
Durchschn. pro Zitat zitiert	6.7011
einzigartige zitierte Artikel	12.840
Durchschn. Zitieren pro zitiert	8.6394
einzigartige Papiere	18.160
einzigartige Arbeiten, die sowohl zitieren als auch zitiert werden	11.234

Top 10 der am häufigsten zitierten Artikel	Anzahl der zitierten Artikel	Autoren	Titel
J93-2004	928	Mitchell et al.	Aufbau eines großen kommentierten Englischkorpus: The Penn Treebank Computational Linguistics
P02-1040	891	Papineni et al.	Bleu: Eine Methode zur automatischen Bewertung maschineller Übersetzung
J93-2003	729	Brown et al.	Die Mathematik der statistischen maschinellen Übersetzung: Parameterschätzung
P03-1021	667	Och & Josef	Training zur minimalen Fehlerrate in statistischer maschineller Übersetzung
J03-1002	656	Och & Josef	Ein systematischer Vergleich verschiedener statistischer Ausrichtungsmodelle
P07-2045	591	Koehn et al.	Moses: Open-Source-Toolkit für statistische maschinelle Übersetzung
N03-1017	556	Koehn et al.	Statistische Phrasenbasierte Übersetzung
P03-1054	394	Klein & Manning	Genaues unlexikalisiertes Parsen
J96-1002	376	Berger et al.	Ein Maximum-Entropie-Ansatz für die Verarbeitung natürlicher Sprache
A00-2018	371	Charniak	Ein von der Maximalentropie inspirierter Parser

Top 10 der am häufigsten zitierten Artikel	Anzahl der zitierten Artikel
P10-1142	88
J10-3003	80
W13-4917	71
W13-2201	65
J12-1006	62
J98-1001	59
J13-2003	59
J07-4004	57
J11-2002	52
D11-1108	52

`aan/release/2013/acl-metadata.txt`

Die Formatierung dieser Datei ist ehrlich gesagt verwirrend. Die allgemeine Struktur ähnelt BibTeX, aber kein BibTeX-Parser könnte damit umgehen. Schlimmer noch, die Mischung der Kodierungen ist verrückt! Wenn ftfy jemals nach einer großartigen Fallstudie aus der Praxis suchen würde, dann wäre es diese.

Es gibt 20.989 Arbeiten.
Es gibt einen fehlenden author , W10-4238 , und 16.308 eindeutige author ( author listet alle Autoren für diesen Artikel auf).
Es gibt rund 16.786 eindeutige Autorennamen (ungefähr aufgrund von Inkonsistenzen sowohl in der Zeichenkodierung als auch in der Darstellung der Namen in den Metadaten).
Es fehlen 12 Veranstaltungsorte und 494 eindeutige Veranstaltungsortwerte.
Das Jahresfeld reicht von 1965 bis 2013 mit 41 eindeutigen Werten (vor 1978 gibt es einige Lücken).
Es gibt 18.152 Artikel (alle bis auf 8) im Zitationsnetzwerk, die einen Eintrag in dieser Metadatendatei haben
Von den insgesamt 110.930 Kanten im Zitationsnetzwerk haben 110.889 Einträge in dieser Metadatendatei.

`aan/papers_text/???-????.txt`

Es gibt viele andere Dateien in diesem Verzeichnis; Einige der Arbeiten sind in Hauptteil- und Referenzabschnitte unterteilt. Es gibt einige Dateien, die den Anschein erwecken, als wären sie für aan/release/2013/ gedacht; und viele der Dateien, die diesem Muster entsprechen, sind leer.

Es gibt 20.194 Dateien, die diesem Muster entsprechen und nicht leer sind.
Es gibt 17.593 Artikel im Zitationsnetzwerk, die über eine entsprechende Datei in papers_text/ verfügen.
Von den insgesamt 110.930 Kanten im Zitationsnetzwerk verfügen 107.873 über entsprechende Dateien in papers_text/ .

Credits

Trotz dieser Mängel ist das ACL Anthology Network eine großartige Ressource; vielen Dank an die vielen Mitwirkenden.

Dragomir R. Radev, Pradeep Muthukrishnan, Vahed Qazvinian, Amjad Abu-Jbara. 2013. Das ACL Anthology Network Corpus. Sprachressourcen und Bewertung 47 (4), S. 919–944. 10.1007/s10579-012-9211-2.