downloader wis2
v0.3.1
O WIS2 Downloader é um aplicativo Python baseado em Flask que permite conectar-se a um WIS2 Global Broker, gerenciar assinaturas para hierarquias de tópicos e configurar seus diretórios de download associados.
/metrics , ideal para visualização do Grafana.python -m pip install wis2downloader Crie um arquivo config.json em seu diretório local que esteja em conformidade com o seguinte esquema:
schema :
type : object
properties :
base_url :
type : string
description :
Base URL for the wis2downloader service.
example : http://localhost:5050
broker_hostname :
type : string
description : The hostname of the global broker to subscribe to.
example : globalbroker.meteo.fr
broker_password :
type : string
description : The password to use when connecting to the specified global broker.
example : everyone
broker_port :
type : number
description : The port the global broker is using for the specified protocol.
example : 443
broker_protocol :
type : string
description : The protocol (websockets or tcp) to use when connecting to the global broker.
example : websockets
broker_username :
type : string
description : The username to use when connecting to the global broker.
example : everyone
download_workers :
type : number
description : The number of download worker threads to spawn.
example : 1
download_dir :
type : string
description : The path to download data to on the server/computer running the wis2downloader.
example : ./downloads
flask_host :
type : string
description : Network interface on which flask should listen when run in dev mode.
example : 0.0.0.0
flask_port :
type : number
description : The port on which flask should listen when run in dev mode.
example : 5050
log_level :
type : string
description : Log level to use
example : DEBUG
log_path :
type : string
description : Path to write log files to.
example : ./logs
min_free_space :
type : number
description :
Minimum free space (GB) to leave on download volume / disk after download.
Files exceeding limit will not be saved.
example : 10
save_logs :
type : boolean
description : Write log files to disk (true) or stdout (false)
example : false
mqtt_session_info :
type : string
description :
File to save session information (active subscriptions and MQTT client id) to.
Used to persist subscriptions on restart.
example : mqtt_session.json
validate_topics :
type : boolean
description : Whether to validate the specified topic against the published WIS2 topic hierarchy.
example : trueUm exemplo é dado abaixo:
{
"base_url" : " http://localhost:5050 " ,
"broker_hostname" : " globalbroker.meteo.fr " ,
"broker_password" : " everyone " ,
"broker_port" : 443 ,
"broker_protocol" : " websockets " ,
"broker_username" : " everyone " ,
"download_workers" : 1 ,
"download_dir" : " downloads " ,
"flask_host" : " 0.0.0.0 " ,
"flask_port" : 5050 ,
"log_level" : " DEBUG " ,
"log_path" : " logs " ,
"min_free_space" : 10 ,
"mqtt_session_info" : " mqtt_session.json " ,
"save_logs" : false ,
"validate_topics" : true
}Linux (bash)
export WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >Windows (prompt de comando)
set WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >Windows (PowerShell)
$env :WIS2DOWNLOADER_CONFIG = < path_to_your_config_file >Modo de desenvolvimento (Windows e Linux)
wis2downloaderUsando gunicorn (somente Linux)
gunicorn --bind 0.0.0.0:5050 -w 1 wis2downloader.app:appNota : Apenas um trabalhador é suportado devido ao downloader gerar threads adicionais e persistência de conexões MQTT.
O aplicativo Flask agora deve estar em execução. Se precisar interromper o aplicativo, você pode fazê-lo no terminal com Ctrl+C .
A definição da API do downloader pode ser encontrada no endpoint /swagger , quando executado localmente, consulte [http://localhost:5050/swagger]. isso inclui a capacidade de testar diferentes endpoints.
As assinaturas podem ser adicionadas por meio de uma solicitação POST ao endpoint /subscriptions . O corpo da solicitação deve ser codificado em JSON e seguir o seguinte esquema:
schema :
type : object
properties :
topic :
type : string
description : The WIS2 topic to subscribe to
example : cache/a/wis2/+/data/core/weather/surface-based-observations/#
target :
type : string
description : Sub directory to save data to
example : surface-obs
required :
- topic Neste exemplo, todas as notificações publicadas no tópico surface-based-observations de qualquer centro WIS2 serão assinadas, com os dados baixados gravados no subdiretório surface-obs do download_dir .
Notas:
target não for especificado, o padrão será o tópico no qual os dados são publicados.+ é usado para especificar qualquer correspondência em um único nível, correspondendo ao centro WIS2 no exemplo acima.# corresponde a qualquer tópico no nível em que ocorre ou abaixo dele. No exemplo acima, qualquer tópico publicado abaixo de cache/a/wis2/+/data/core/weather/surface-based-observations será correspondido. curl -X ' POST '
' http://127.0.0.1:5050/subscriptions '
-H ' accept: application/json '
-H ' Content-Type: application/json '
-d ' {
"topic": "cache/a/wis2/+/data/core/weather/surface-based-observations/#",
"target": "surface-obs"
} ' As assinaturas são excluídas por meio de uma solicitação DELETE para o endpoint /subscriptions/{topic} onde {topic} é o tópico do qual cancelar a assinatura.
curl -X DELETE http://localhost:5050/subscriptions/cache/a/wis2/%2B/data/core/weather/%23 Isso cancela a assinatura cache/a/wis2/+/data/core/weather/# . Observe a necessidade de codificar em URL os símbolos + ( %2B ) e # ( %23 ).
As assinaturas atuais podem ser listadas por meio de uma solicitação GET para o endpoint /subscriptions .
curl http://localhost:5050/subscriptionsA lista de assinaturas ativas deve ser retornada como um objeto JSON.
As métricas do Prometheus para o downloader são encontradas por meio de uma solicitação GET para o endpoint /metrics .
curl http://localhost:5050/metricsTodos os bugs, melhorias e problemas são gerenciados no GitHub.
