wis2下载器

WIS2 下载器

订阅WIS2网络最新数据的后端工具

WIS2 Downloader 是一个基于 Flask 的 Python 应用程序，允许您连接到 WIS2 Global Broker、管理主题层次结构的订阅并配置其关联的下载目录。

特征

• 动态订阅管理：快速添加或删除临时订阅，无需重新启动服务或更改配置文件。
• 监控下载统计信息：通过/metrics端点访问 Prometheus 指标，非常适合 Grafana 可视化。
• 多线程支持：配置下载工作者的数量以提高数据下载效率。

入门

1. 安装

python -m pip install wis2downloader

2. 配置

在本地目录中创建一个符合以下架构的文件config.json ：

 schema :
  type : object
  properties :
    base_url :
      type : string
      description :
        Base URL for the wis2downloader service.
      example : http://localhost:5050
    broker_hostname :
      type : string
      description : The hostname of the global broker to subscribe to.
      example : globalbroker.meteo.fr
    broker_password :
      type : string
      description : The password to use when connecting to the specified global broker.
      example : everyone
    broker_port :
      type : number
      description : The port the global broker is using for the specified protocol.
      example : 443
    broker_protocol :
      type : string
      description : The protocol (websockets or tcp) to use when connecting to the global broker.
      example : websockets
    broker_username :
      type : string
      description : The username to use when connecting to the global broker.
      example : everyone
    download_workers :
      type : number
      description : The number of download worker threads to spawn.
      example : 1
    download_dir :
      type : string
      description : The path to download data to on the server/computer running the wis2downloader.
      example : ./downloads
    flask_host :
      type : string
      description : Network interface on which flask should listen when run in dev mode.
      example : 0.0.0.0
    flask_port :
      type : number
      description : The port on which flask should listen when run in dev mode.
      example : 5050
    log_level :
      type : string
      description : Log level to use
      example : DEBUG
    log_path :
      type : string
      description : Path to write log files to.
      example : ./logs
    min_free_space :
      type : number
      description :
        Minimum free space (GB) to leave on download volume / disk after download.
        Files exceeding limit will not be saved.
      example : 10
    save_logs :
      type : boolean
      description : Write log files to disk (true) or stdout (false)
      example : false
    mqtt_session_info :
      type : string
      description :
        File to save session information (active subscriptions and MQTT client id) to.
        Used to persist subscriptions on restart.
      example : mqtt_session.json
    validate_topics :
      type : boolean
      description : Whether to validate the specified topic against the published WIS2 topic hierarchy.
      example : true

下面给出一个例子：

{
    "base_url" : " http://localhost:5050 " ,
    "broker_hostname" : " globalbroker.meteo.fr " ,
    "broker_password" : " everyone " ,
    "broker_port" : 443 ,
    "broker_protocol" : " websockets " ,
    "broker_username" : " everyone " ,
    "download_workers" : 1 ,
    "download_dir" : " downloads " ,
    "flask_host" : " 0.0.0.0 " ,
    "flask_port" : 5050 ,
    "log_level" : " DEBUG " ,
    "log_path" : " logs " ,
    "min_free_space" : 10 ,
    "mqtt_session_info" : " mqtt_session.json " ,
    "save_logs" : false ,
    "validate_topics" : true
}

3.跑步

1. 设置指定 config.json 文件路径的环境变量。

Linux（bash）

 export WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >

Windows（命令提示符）

 set WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >

Windows（PowerShell）

 $env :WIS2DOWNLOADER_CONFIG = < path_to_your_config_file >

2. 启动下载器

开发模式（Windows 和 Linux）

wis2downloader

使用gunicorn（仅限Linux）

gunicorn --bind 0.0.0.0:5050 -w 1 wis2downloader.app:app

注意：由于下载程序会产生额外的线程和 MQTT 连接的持久性，因此仅支持一名工作人员。

Flask 应用程序现在应该正在运行。如果您需要停止应用程序，可以在终端中使用Ctrl+C来执行此操作。

维护和监控订阅

下载器的 API 定义可以在/swagger端点找到，本地运行时请参阅 [http://localhost:5050/swagger]。这包括尝试不同端点的能力。

添加订阅

可以通过 POST 请求将订阅添加到/subscriptions端点。请求正文应采用 JSON 编码并遵循以下架构：

 schema :
  type : object
  properties :
    topic :
      type : string
      description : The WIS2 topic to subscribe to
      example : cache/a/wis2/+/data/core/weather/surface-based-observations/#
    target :
      type : string
      description : Sub directory to save data to
      example : surface-obs
  required :
    - topic

在此示例中，从任何 WIS2 中心发布到surface-based-observations主题的所有通知都将被订阅，下载的数据将写入download_dir的surface-obs子目录。

笔记：

1. 如果未指定target ，它将默认为发布数据的主题。
2. +通配符用于指定单个级别的任何匹配，在上例中匹配为 WIS2 中心。
3. #通配符匹配任何位于或低于其出现级别的主题。在上面的示例中，在 cache/a/wis2/+/data/core/weather/surface-based-observations 下发布的任何主题都将被匹配。

添加订阅的 CURL 命令示例

curl -X ' POST ' 
  ' http://127.0.0.1:5050/subscriptions ' 
  -H ' accept: application/json ' 
  -H ' Content-Type: application/json ' 
  -d ' {
      "topic": "cache/a/wis2/+/data/core/weather/surface-based-observations/#",
      "target": "surface-obs"
  } '

删除订阅

通过向/subscriptions/{topic}端点发送 DELETE 请求来删除订阅，其中{topic}是要取消订阅的主题。

用于删除订阅的示例 CURL 命令

curl -X DELETE http://localhost:5050/subscriptions/cache/a/wis2/%2B/data/core/weather/%23

这会取消cache/a/wis2/+/data/core/weather/#订阅。请注意，需要对+ ( %2B ) 和# ( %23 ) 符号进行 URL 编码。

列出订阅

可以通过对/subscriptions端点的 GET 请求列出当前订阅。

用于列出订阅的示例 CURL 命令

curl http://localhost:5050/subscriptions

活动订阅列表应作为 JSON 对象返回。

查看下载指标

下载器的 Prometheus 指标可通过对/metrics端点的 GET 请求找到。

用于查看下载指标的 CURL 命令示例

curl http://localhost:5050/metrics

错误和问题

所有错误、增强功能和问题均在 GitHub 上进行管理。

接触

• 罗里·伯克
• 大卫·贝里