Startseite>Ressourcen zum Erstellen von Websites>Website-Daten
Herunterladen

Webvektoren

Webvectors ist ein Toolkit zur Bereitstellung vektorsemantischer Modelle (insbesondere vorhersagebasierte Worteinbettungen wie in word2vec oder ELMo ) über das Web, wodurch es einfach wird, der breiten Öffentlichkeit ihre Fähigkeiten zu demonstrieren. Es erfordert Python >= 3.6 und verwendet unter der Haube Flask , Gensim und simple_elmo .

Arbeitsdemos:

  • https://rusvectores.org (für Russisch)
  • http://vectors.nlpl.eu/explore/embeddings/ (für Englisch und Norwegisch)

Der Dienst kann entweder als WSGI-Anwendung in den Apache -Webserver integriert oder als eigenständiger Server mit Gunicorn ausgeführt werden (wir empfehlen die letztere Option).

Kurze Installationsanleitung

  1. Klonen Sie das WebVectors-Git-Repository ( git clone https://github.com/akutuzov/webvectors.git ) in ein Verzeichnis, auf das Ihr Webserver zugreifen kann.
  2. Installieren Sie Apache für die Apache-Integration oder Gunicorn für den eigenständigen Server.
  3. Installieren Sie alle Python-Anforderungen ( pip3 install -r require.txt )
  4. Wenn Sie PoS-Tagging für Benutzerabfragen verwenden möchten, installieren Sie UDPipe, Stanford CoreNLP, Freeling oder einen anderen PoS-Tagger Ihrer Wahl.
  5. Konfigurieren Sie die Dateien:

Für die Apache-Installationsvariante

Fügen Sie der Apache-Konfigurationsdatei die folgende Zeile hinzu:

WSGIScriptAlias /WEBNAME "PATH/syn.wsgi" , wobei WEBNAME der Alias ​​für Ihren Dienst relativ zum Serverstamm ist (webvectors für http://example.com/webvectors ) und PATH Ihr Dateisystempfad zum WebVectors -Verzeichnis ist.

Für alle Einbauvarianten

Ersetzen Sie in allen *.wsgi und *.py Dateien in Ihrem WebVectors -Verzeichnis webvectors.cfg in der Zeichenfolge config.read('webvectors.cfg') durch den absoluten Pfad zur Datei webvectors.cfg .

Richten Sie Ihren Dienst mithilfe der Konfigurationsdatei webvectors.cfg ein. Die wichtigsten Einstellungen sind:

  • „root“ – absoluter Pfad zu Ihrem _WebVectors_-Verzeichnis (**Hinweis: Beenden Sie es mit einem Schrägstrich!**)
  • „temp“ – absoluter Pfad zu Ihrem temporären Dateiverzeichnis
  • „font“ – absoluter Pfad zu einer TTF-Schriftart, die Sie für Plots verwenden möchten (andernfalls wird die Standard-Systemschriftart verwendet)
  • `detect_tag` – ob automatisches PoS-Tagging verwendet werden soll
  • „default_search“ – URL der Suchmaschine zur Verwendung auf einzelnen Wortseiten (z. B. https://duckduckgo.com/?q=)

Schlagworte

Modelle können beliebige Tags verwenden, die Wörtern zugewiesen sind (z. B. Wortart-Tags, wie in boot_NOUN ). Wenn Ihre Modelle auf Wörter mit Tags trainiert werden, sollten Sie dies in webvectors.cfg (Variable use_tags ) aktivieren. Anschließend können Benutzer mit WebVectors ihre Abfragen nach Tags filtern. Sie sollten auch die Liste der zulässigen Tags (Variable tags_list in webvectors.cfg ) und die Liste der Tags angeben, die dem Benutzer angezeigt werden (Datei tags.tsv ).

Models-Daemon

WebVectors verwendet einen Daemon, der im Hintergrund läuft und tatsächlich alle einbettungsbezogenen Aufgaben verarbeitet. Wenn Sie möchten, kann es auch auf einem anderen Computer ausgeführt werden. Daher sollten Sie in webvectors.cfg host und port angeben, an denen dieser Daemon lauscht. Starten Sie anschließend das eigentliche Daemon-Skript word2vec_server.py . Es lädt die Modelle und öffnet einen Listening-Socket. Dieser Daemon muss permanent aktiv sein, daher können Sie ihn über „screen“ oder ähnliches starten.

Modelle

Die Liste der Modelle, die Sie verwenden möchten, ist in der Datei models.tsv definiert. Es besteht aus durch Tabulatoren getrennten Feldern:

  • Modellkennung
  • Modellbeschreibung
  • Weg zum Modell
  • Bezeichner des lokalisierten Modellnamens
  • ist die Standardeinstellung des Modells oder nicht
  • Enthält das Modell PoS-Tags?
  • Trainingsalgorithmus des Modells (word2vec/fastText/etc)
  • Größe des Trainingskorpus in Worten
  • Sprache des Modells

Der Modellbezeichner wird als Name für Kontrollkästchen auf den Webseiten verwendet. Außerdem ist es wichtig, dass in der Datei strings.csv derselbe Bezeichner für die Bezeichnung von Modellnamen verwendet wird. Die Sprache des Modells wird als Argument verwendet, das an die Lemmatisierungsfunktion übergeben wird. Dabei handelt es sich um eine einfache Zeichenfolge mit dem Namen der Sprache (z. B. „Englisch“, „Russisch“, „Französisch“).

Modelle können derzeit in 4 Formaten vorliegen:

  • Klartext-_word2vec_-Modelle (endet mit „.vec“);
  • binäre _word2vec_-Modelle (endet mit „.bin“);
  • Gensim-Format _word2vec_ models (endet mit „.model“);
  • Gensim-Format _fastText_ Modelle (endet mit „.model“).

WebVectors erkennt automatisch das Format der Modelle und lädt sie alle in den Speicher. Die Benutzer können zwischen geladenen Modellen wählen.

Lokalisierung

WebVectors verwendet die Datei strings.csv als Quelle lokalisierter Zeichenfolgen. Es handelt sich um eine durch Kommas getrennte Datei mit drei Feldern:

  • Identifikator
  • Zeichenfolge in Sprache 1
  • Zeichenfolge in Sprache 2

Standardmäßig ist Sprache 1 Englisch und Sprache 2 Russisch. Dies kann in webvectors.cfg geändert werden.

Vorlagen

Die dem Benutzer tatsächlich angezeigten Webseiten werden in den Dateien templates/*.html definiert. Stimmen Sie sie nach Ihren Wünschen ab. Das Hauptmenü ist unter base.html definiert.

Statistikdateien

Wenn Ihre Anwendung die statischen Dateien (Bootstrap- und JS-Skripte) nicht findet, bearbeiten Sie die Variable static_url_path in run_syn.py . Dort sollten Sie den absoluten Pfad zum data angeben.

Abfragehinweise

Wenn Sie möchten, dass Abfragehinweise funktionieren, vergessen Sie nicht, Ihre eigene Liste mit Hinweisen (JSON-Format) zu erstellen. Ein Beispiel für eine solche Liste finden Sie in data/example_vocab.json . Die tatsächliche URL dieser Liste sollte in data/hint.js angegeben werden.

Ausführen von WebVectors

Sobald Sie alle Einstellungen entsprechend Ihrem Arbeitsablauf geändert, sichergestellt haben, dass die Vorlagen für Sie in Ordnung sind, und den Models-Daemon gestartet haben, können Sie den Dienst tatsächlich starten. Wenn Sie die Apache- Integration verwenden, starten/laden Sie Apache einfach neu. Wenn Sie die Standalone-Option bevorzugen, führen Sie den folgenden Befehl im Stammverzeichnis des Projekts aus:

gunicorn run_syn:app_syn -b address:port

Dabei ist „Adresse“ die Adresse, an der der Dienst aktiv sein soll (kann „localhost“ sein), und „Port“ ist der zu überwachende Port (z. B. 9999).

Unterstützung für kontextualisierte Einbettungen Sie können die Unterstützung für kontextualisierte Einbettungsmodelle aktivieren (derzeit wird ELMo unterstützt). Um das zu tun:

  1. Installieren Sie das simple_elmo-Paket

  2. Laden Sie ein ELMo-Modell Ihrer Wahl herunter (zum Beispiel hier).

  3. Erstellen Sie anhand des ELMo-Modells und eines Referenzkorpus eine typbasierte Projektion im word2vec Format für eine begrenzte Menge von Wörtern (z. B. 10.000). Verwenden Sie dazu das von uns bereitgestellte Skript extract_elmo.py :

python3 extract_elmo.py --input CORPUS --elmo PATH_TO_ELMO --outfile TYPE_EMBEDDING_FILE --vocab WORD_SET_FILE

Es führt das ELMo-Modell über den bereitgestellten Korpus aus und generiert statische gemittelte Typeinbettungen für jedes Wort im Wortsatz. Sie werden als lexikalische Substitute verwendet.

  1. Bereiten Sie ein Häufigkeitswörterbuch zur Verwendung mit den kontextualisierten Visualisierungen als durch Tabulatoren getrennte Nur-Text-Datei vor, wobei die erste Spalte Wörter und die zweite Spalte ihre Häufigkeiten im Referenzwörterbuch Ihrer Wahl enthält. Die erste Zeile dieser Datei sollte eine Ganzzahl enthalten, die der Größe des Korpus in Wort-Tokens entspricht.

  2. Setzen Sie im Abschnitt [Token] der Konfigurationsdatei webvectors.cfg den Wert use_contextualized auf True und geben Sie die Pfade zu Ihrem token_model (vorab trainiertes ELMo), type_model (der typbasierten Projektion, die Sie mit unserem Skript erstellt haben) und freq_file , die Ihnen gehört Frequenzwörterbuch.

  3. Geben Sie im Feld ref_static_model eines Ihrer statischen Wörterinbettungsmodelle (nur den Namen) an, das Sie als Ziel für Hyperlinks von Wörtern auf den kontextualisierten Visualisierungsseiten verwenden möchten.

  4. Die Seite mit den lexikalischen ELMo-Ersatzwörtern wird unter http://YOUR_ROOT_URL/contextual/ verfügbar sein.

Kontakte

Bei Problemen können Sie sich gerne an uns wenden:

Referenzen

  1. http://www.aclweb.org/anthology/E17-3025

  2. http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf

  3. http://flask.pocoo.org/

  4. http://radimrehurek.com/gensim/

  5. http://gunicorn.org/

Expandieren
Zusätzliche Informationen
Ähnliche Anwendungen
Empfohlen für Sie
Ähnliche Nachrichten Alle