CommonsExtension
0.1.2
Diese Erweiterung bietet mehrere hilfreiche Funktionen für OpenRefine -Benutzer, die (strukturierte Daten) Mediendateien (Bilder, Videos, PDFs ...) auf Wikimedia Commons bearbeiten möchten. Weitere Informationen, Dokumentationen und How-tos über OpenRefine für Wikimedia Commons finden Sie unter https://commons.wikimedia.org/wiki/commons:openrefine .
In dieser Erweiterung enthaltene Funktionen:
Starten Sie ein OpenRefine -Projekt, indem Sie Dateinamen aus einer oder mehreren Kategorien von Wikimedia Commons (einschließlich Kategoriestiefe) geladen haben.
Fügen Sie Spalten mit Commons-Kategorien und/oder M-IDs jedes Dateinamens hinzu
Dateinamen werden bereits beim Starten des Projekts in Einklang gebracht
Einige dedizierte Grel -Befehle ermöglichen die grundlegende Verarbeitung und Extraktion von Wikitext: extractFromTemplate und value.extractCategories
(In der Veröffentlichung von 0.1.1 in dieser Erweiterung und später) Grundunterstützung für die Voransichten vorhandenen vorhandenen Wikimedia Commons -Dateien. Miniaturansichten werden für einige (aber nicht alle) Dateitypen/ -Erweiterungen angezeigt. Derzeit wird für JPEG-, GIF-, PNG-, DJVU-, PDF-, SVG-, Webm- und OGV -Dateien eine Miniaturansicht unterstützt.
Es funktioniert mit OpenRefine 3.6.x und späteren Versionen von OpenRefine . Es ist nicht mit OpenRefine 3.5.x oder früher kompatibel. (OpenRefine unterstützt die Bearbeitung von Wikimedia Commons aus Version 3.6; Dies ist in früheren Versionen nicht möglich.)
Diese Verlängerung wurde erstmals im Oktober 2022 veröffentlicht. Sie wurde von einem Wikimedia -Projektzuschuss finanziert.
Laden Sie die .ZIP -Datei der neuesten Version dieser Erweiterung herunter. Entpacken Sie diese Datei und platzieren Sie den unzippierten Ordner in Ihren OpenRefine -Erweiterungsordner. Lesen Sie mehr über die Installation von Erweiterungen im Benutzerhandbuch von OpenRefine.
Wenn diese Erweiterung korrekt installiert ist, sehen Sie nun die zusätzliche Option "Wikimedia Commons", wenn Sie ein neues Projekt in OpenRefine starten.
Klicken Sie nach der Installation dieser Erweiterung auf die Option "Wikimedia Commons", um ein neues Projekt in OpenRefine zu starten. Sie werden aufgefordert, eine oder mehrere Kategorien von Wikimedia Commons hinzuzufügen.
Es ist nicht erforderlich, die Kategorie einzugeben: Präfix.
Sie können die Kategorie -Tiefe angeben, indem Sie nach jeder Kategorie eine Nummer im Feld Eingabe eingeben oder auswählen. Tiefe 0 bedeutet nur Dateien aus der aktuellen Kategorieebene. Tiefe 1 ruft Dateien aus einer Unterkategorie ab, usw.
Anschließend können Sie im Projektvorschau-Bildschirm ( Configure parsing options ) auch eine Spalte mit den Kategorien der einzelnen Dateien (eindeutige MediaInfo-Kennung) und/oder Commons einfügen.
Dateinamen werden bereits mit Beginn Ihres Projekts in Einklang gebracht.
Wenn Sie größere Kategorien (Tausende von Dateien) in einem neuen Projekt laden, beginnt OpenRefine langsam und gibt Ihnen eine Speicherwarnung. Dies ist ein bekanntes Problem. Warte ein bisschen; Das Projekt wird irgendwann beginnen. Die Commons -Erweiterung wurde mit einem Projekt von mehr als 450.000 Dateien getestet.
Die Wikimedia Commons -Erweiterung ermöglicht auch zwei dedizierte Grel -Befehle, die dazu beitragen, spezifische Informationen aus dem Wikitext von Wikimedia Commons -Dateien zu extrahieren. (Grel, allgemeine Refine Expressionssprache, ist eine dedizierte Skriptsprache, die in OpenRefine für viele flexible Datenvorgänge verwendet wird. Eine allgemeine Referenz zur Verwendung von Grel in OpenRefine finden Sie unter https://docs.openrefine.org/manual/grelfunctions.)
Abrufen Sie zunächst den Wikitext von einer Liste von Commons -Dateien in Ihrem Projekt ab. Wählen Sie im Spaltemenü der Spalte "Spalte Dateinamen" Spalte Edit column > Add column from reconciled values... und wählen Sie Wikitext im resultierenden Dialogfenster.
Aus dieser neuen Spalte mit Wikitext können Sie jetzt Werte und Kategorien wie unten beschrieben extrahieren. Starten Sie mit der Auswahl Edit column > Add column based on this column... im Spaltenmenü. Im nächsten Dialogfenster können Sie verschiedene spezifische Grel -Befehle verwenden:
extractFromTemplateVerwenden Sie die folgende Syntax:
extractFromTemplate(value, "BHL", "source")[0]
Wo Sie BHL durch den Namen der Vorlage (ohne lockige Klammern) ersetzen, und source mit dem Parameter, aus dem Sie den Wert extrahieren möchten. Diese Grel -Syntax gibt den ersten (und normalerweise einzigen) Wert des Parameters zurück, z. B. https://www.flickr.com/photos/biodivlibrary/10329116385 .
value.extractCategoriesVerwenden Sie die folgende Syntax:
value.extractCategories().join('#') Diese Grel -Syntax gibt alle im Wikitext genannten Kategorien zurück, die durch das # Charakter getrennt sind, mit dem Sie dann die resultierende Zelle nach Bedarf weiter aufteilen können.
Laufen
mvn package
Dadurch wird im target eine ZIP -Datei erstellt, die dann in OpenRefine installiert werden kann.
Um zu vermeiden, dass die Erweiterung jedes Mal, wenn Sie sie testen möchten, die Erweiterung im entsprechenden Verzeichnis entpacken müssen, können Sie auch eine andere Einrichtung verwenden: Erstellen Sie einfach einen symbolischen Link aus Ihrem Erweiterungsordner in OpenRefine zur lokalen Kopie dieses Repositorys. Mit diesem Setup müssen Sie bei Änderungen an der Erweiterung kein mvn package ausführen. Wenn Sie Änderungen an Java -Dateien vornehmen, und mvn compile neu starten, wenn Sie Änderungen an Dateien vornehmen.
Stellen Sie sicher, dass Sie sich im master -Zweig befinden und es auf dem neuesten Stand ist ( git pull )
Öffnen Sie pom.xml und setzen Sie die Version auf die gewünschte Versionsnummer, wie z. B. <version>0.1.0</version>
Verpflichten Sie diese Änderungen in den Meister und führen Sie sie vor
Fügen Sie ein entsprechendes GIT -Tag mit git tag -a v0.1.0 -m "Version 0.1.0" hinzu (Wenn Sie bei der Arbeit vom Github -Desktop von Github Desktop arbeiten, können Sie diesen Vorgang befolgen und das v0.1.0 -Tag mit der Beschreibung Version 0.1.0 manuell hinzufügen)
Drücken Sie das Tag zu GitHub: git push --tags (im Github -Desktop, einfach wieder drücken)
Erstellen Sie eine neue Version auf GitHub unter https://github.com/openrefine/commonsextsion/releases/new und geben Sie einen Release -Titel (z. B. "Commons -Erweiterung 0,1.0") und eine Beschreibung der Funktionen in dieser Version.
Öffnen Sie pom.xml und setzen Sie die Version auf die erwartete nächste Versionsnummer, gefolgt von -SNAPSHOT . Wenn Sie beispielsweise nur 0.1.0 veröffentlicht haben, können Sie <version>0.1.1-SNAPSHOT</version> festlegen
Verhalten und schieben Sie diese Veränderungen.
