wis2downloader
v0.3.1
Der WIS2 Downloader ist eine Flask-basierte Python-Anwendung, mit der Sie eine Verbindung zu einem WIS2 Global Broker herstellen, Abonnements für Themenhierarchien verwalten und die zugehörigen Download-Verzeichnisse konfigurieren können.
/metrics Endpunkt auf die Prometheus-Metriken zu, ideal für die Grafana-Visualisierung.python -m pip install wis2downloader Erstellen Sie in Ihrem lokalen Verzeichnis eine Datei config.json , die dem folgenden Schema entspricht:
schema :
type : object
properties :
base_url :
type : string
description :
Base URL for the wis2downloader service.
example : http://localhost:5050
broker_hostname :
type : string
description : The hostname of the global broker to subscribe to.
example : globalbroker.meteo.fr
broker_password :
type : string
description : The password to use when connecting to the specified global broker.
example : everyone
broker_port :
type : number
description : The port the global broker is using for the specified protocol.
example : 443
broker_protocol :
type : string
description : The protocol (websockets or tcp) to use when connecting to the global broker.
example : websockets
broker_username :
type : string
description : The username to use when connecting to the global broker.
example : everyone
download_workers :
type : number
description : The number of download worker threads to spawn.
example : 1
download_dir :
type : string
description : The path to download data to on the server/computer running the wis2downloader.
example : ./downloads
flask_host :
type : string
description : Network interface on which flask should listen when run in dev mode.
example : 0.0.0.0
flask_port :
type : number
description : The port on which flask should listen when run in dev mode.
example : 5050
log_level :
type : string
description : Log level to use
example : DEBUG
log_path :
type : string
description : Path to write log files to.
example : ./logs
min_free_space :
type : number
description :
Minimum free space (GB) to leave on download volume / disk after download.
Files exceeding limit will not be saved.
example : 10
save_logs :
type : boolean
description : Write log files to disk (true) or stdout (false)
example : false
mqtt_session_info :
type : string
description :
File to save session information (active subscriptions and MQTT client id) to.
Used to persist subscriptions on restart.
example : mqtt_session.json
validate_topics :
type : boolean
description : Whether to validate the specified topic against the published WIS2 topic hierarchy.
example : trueNachfolgend finden Sie ein Beispiel:
{
"base_url" : " http://localhost:5050 " ,
"broker_hostname" : " globalbroker.meteo.fr " ,
"broker_password" : " everyone " ,
"broker_port" : 443 ,
"broker_protocol" : " websockets " ,
"broker_username" : " everyone " ,
"download_workers" : 1 ,
"download_dir" : " downloads " ,
"flask_host" : " 0.0.0.0 " ,
"flask_port" : 5050 ,
"log_level" : " DEBUG " ,
"log_path" : " logs " ,
"min_free_space" : 10 ,
"mqtt_session_info" : " mqtt_session.json " ,
"save_logs" : false ,
"validate_topics" : true
}Linux (Bash)
export WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >Windows (Eingabeaufforderung)
set WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >Windows (PowersShell)
$env :WIS2DOWNLOADER_CONFIG = < path_to_your_config_file >Dev-Modus (Windows und Linux)
wis2downloaderGunicorn verwenden (nur Linux)
gunicorn --bind 0.0.0.0:5050 -w 1 wis2downloader.app:appHinweis : Es wird nur ein Worker unterstützt, da der Downloader zusätzliche Threads erzeugt und MQTT-Verbindungen bestehen bleiben.
Die Flask-Anwendung sollte jetzt ausgeführt werden. Wenn Sie die Anwendung stoppen müssen, können Sie dies im Terminal mit Ctrl+C tun.
Die API-Definition des Downloaders finden Sie am Endpunkt /swagger , bei lokaler Ausführung siehe [http://localhost:5050/swagger]. Dazu gehört auch die Möglichkeit, die verschiedenen Endpunkte auszuprobieren.
Abonnements können über eine POST-Anfrage zum Endpunkt /subscriptions hinzugefügt werden. Der Anforderungstext sollte JSON-codiert sein und dem folgenden Schema entsprechen:
schema :
type : object
properties :
topic :
type : string
description : The WIS2 topic to subscribe to
example : cache/a/wis2/+/data/core/weather/surface-based-observations/#
target :
type : string
description : Sub directory to save data to
example : surface-obs
required :
- topic In diesem Beispiel werden alle Benachrichtigungen, die von einem WIS2-Zentrum zum Thema surface-based-observations veröffentlicht werden, abonniert, wobei die heruntergeladenen Daten in das Unterverzeichnis surface-obs des download_dir geschrieben werden.
Hinweise:
target nicht angegeben ist, wird standardmäßig das Thema verwendet, zu dem die Daten veröffentlicht werden.+ wird verwendet, um eine beliebige Übereinstimmung auf einer einzelnen Ebene anzugeben, im obigen Beispiel als WIS2-Zentrum.# entspricht jedem Thema auf oder unterhalb der Ebene, auf der es auftritt. Im obigen Beispiel wird jedes unter „cache/a/wis2/+/data/core/weather/surface-based-observations“ veröffentlichte Thema abgeglichen. curl -X ' POST '
' http://127.0.0.1:5050/subscriptions '
-H ' accept: application/json '
-H ' Content-Type: application/json '
-d ' {
"topic": "cache/a/wis2/+/data/core/weather/surface-based-observations/#",
"target": "surface-obs"
} ' Abonnements werden über eine DELETE-Anfrage an den Endpunkt /subscriptions/{topic} gelöscht, wobei {topic} das Thema ist, von dem Sie sich abmelden möchten.
curl -X DELETE http://localhost:5050/subscriptions/cache/a/wis2/%2B/data/core/weather/%23 Dadurch wird das cache/a/wis2/+/data/core/weather/# Abonnement gekündigt. Beachten Sie, dass die Symbole + ( %2B ) und # ( %23 ) URL-codiert werden müssen.
Aktuelle Abonnements können über eine GET-Anfrage an den Endpunkt /subscriptions aufgelistet werden.
curl http://localhost:5050/subscriptionsDie Liste der aktiven Abonnements sollte als JSON-Objekt zurückgegeben werden.
Prometheus-Metriken für den Downloader werden über eine GET-Anfrage an den /metrics Endpunkt gefunden.
curl http://localhost:5050/metricsAlle Fehler, Verbesserungen und Probleme werden auf GitHub verwaltet.
