detecting fake text

GLTR: Riesensprachmodell -Testraum

Erkennen von Text, der aus großen Sprachmodellen erzeugt wurde (z. B. GPT-2).

Webseite: http://gltr.io
Online-Demo: http://gltr.io/dist/index.html
Papier: https://arxiv.org/abs/1906.04043

Ein Projekt von Hendrik Strobelt, Sebastian Gehrmann, Alexander M. Rush.

Zusammenarbeit von MIT-IBM Watson AI Lab und Harvardnlp

QuickStart

Installieren Sie Abhängigkeiten für Python> 3.6:

pip install -r requirements.txt

Führen Sie den Server für gpt-2-small aus:

python server.py

Die Demo -Instanz wird jetzt unter http: // localhost: 5001/client/index.html ausgeführt

Führen Sie den Bert -Server aus

Starten Sie den Server für BERT :

python server.py --model BERT

Die Instanz wird jetzt unter http: // localhost: 5001/client/index.html? nodeemo ausgeführt. Tipp: Wir stellen nur Demo-Texte für gpt2-small .

server.py Optionen

 usage: server.py [-h] [--model MODEL] [--nodebug NODEBUG] [--address ADDRESS]
                 [--port PORT] [--nocache NOCACHE] [--dir DIR] [--no_cors]

optional arguments:
  -h, --help         show this help message and exit
  --model MODEL		 choose either 'gpt-2-small' (default) or 'BERT' or your own
  --nodebug NODEBUG  server in non-debugging mode
  --port PORT	     port to launch UI and API (default:5001)
  --no_cors          launch API without CORS support (default: False)

Backend erweitern

Das Backend definiert eine Reihe von Modell -APIs, die vom Server aufgerufen werden können, indem sie mit dem Parameter --model NAME starten. Um ein benutzerdefiniertes Modell hinzuzufügen, müssen Sie Ihre eigene API in backend/api.py schreiben und den Dekorateur @register_api(name=NAME) hinzufügen.

Jede API muss eine Klasse sein, die von AbstractLanguageChecker erbt, wodurch zwei Funktionen check_probabilities und postprocess definiert werden. Bitte befolgen Sie die Dokumentation in api.py wenn Sie die Klasse und die Funktionen implementieren.

Frontend erweitern

Der Quellcode für das Front-End befindet sich im client/src .

Zum Ändern ist die Installation von Knotenabhängigkeiten erforderlich:

 cd client/src ; npm install ; cd ../..

Neuverbindung von Front-End:

 > rm -rf client/dist ; cd client/src/ ; npm run build ; cd ../..

Lizenz

Apache 2

(c) 2019 von Hendrik Stroboelt, Sebastian Gehrmann, Alexander M. Rush