wis2下載器

WIS2 下載器

訂閱WIS2網路最新數據的後端工具

WIS2 Downloader 是一個基於 Flask 的 Python 應用程序，可讓您連接到 WIS2 Global Broker、管理主題層次結構的訂閱並配置其關聯的下載目錄。

特徵

• 動態訂閱管理：快速新增或刪除臨時訂閱，無需重新啟動服務或變更設定檔。
• 監控下載統計資料：透過/metrics端點存取 Prometheus 指標，非常適合 Grafana 視覺化。
• 多執行緒支援：配置下載工作者的數量以提高資料下載效率。

入門

1. 安裝

python -m pip install wis2downloader

2. 配置

在本機目錄中建立一個符合以下架構的檔案config.json ：

 schema :
  type : object
  properties :
    base_url :
      type : string
      description :
        Base URL for the wis2downloader service.
      example : http://localhost:5050
    broker_hostname :
      type : string
      description : The hostname of the global broker to subscribe to.
      example : globalbroker.meteo.fr
    broker_password :
      type : string
      description : The password to use when connecting to the specified global broker.
      example : everyone
    broker_port :
      type : number
      description : The port the global broker is using for the specified protocol.
      example : 443
    broker_protocol :
      type : string
      description : The protocol (websockets or tcp) to use when connecting to the global broker.
      example : websockets
    broker_username :
      type : string
      description : The username to use when connecting to the global broker.
      example : everyone
    download_workers :
      type : number
      description : The number of download worker threads to spawn.
      example : 1
    download_dir :
      type : string
      description : The path to download data to on the server/computer running the wis2downloader.
      example : ./downloads
    flask_host :
      type : string
      description : Network interface on which flask should listen when run in dev mode.
      example : 0.0.0.0
    flask_port :
      type : number
      description : The port on which flask should listen when run in dev mode.
      example : 5050
    log_level :
      type : string
      description : Log level to use
      example : DEBUG
    log_path :
      type : string
      description : Path to write log files to.
      example : ./logs
    min_free_space :
      type : number
      description :
        Minimum free space (GB) to leave on download volume / disk after download.
        Files exceeding limit will not be saved.
      example : 10
    save_logs :
      type : boolean
      description : Write log files to disk (true) or stdout (false)
      example : false
    mqtt_session_info :
      type : string
      description :
        File to save session information (active subscriptions and MQTT client id) to.
        Used to persist subscriptions on restart.
      example : mqtt_session.json
    validate_topics :
      type : boolean
      description : Whether to validate the specified topic against the published WIS2 topic hierarchy.
      example : true

下面給一個例子：

{
    "base_url" : " http://localhost:5050 " ,
    "broker_hostname" : " globalbroker.meteo.fr " ,
    "broker_password" : " everyone " ,
    "broker_port" : 443 ,
    "broker_protocol" : " websockets " ,
    "broker_username" : " everyone " ,
    "download_workers" : 1 ,
    "download_dir" : " downloads " ,
    "flask_host" : " 0.0.0.0 " ,
    "flask_port" : 5050 ,
    "log_level" : " DEBUG " ,
    "log_path" : " logs " ,
    "min_free_space" : 10 ,
    "mqtt_session_info" : " mqtt_session.json " ,
    "save_logs" : false ,
    "validate_topics" : true
}

3.跑步

1. 設定指定 config.json 檔案路徑的環境變數。

Linux（bash）

 export WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >

Windows（命令提示字元）

 set WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >

Windows（PowerShell）

 $env :WIS2DOWNLOADER_CONFIG = < path_to_your_config_file >

2. 啟動下載器

開發模式（Windows 和 Linux）

wis2downloader

使用gunicorn（僅限Linux）

gunicorn --bind 0.0.0.0:5050 -w 1 wis2downloader.app:app

注意：由於下載程式會產生額外的執行緒和 MQTT 連線的持久性，因此僅支援一名工作人員。

Flask 應用程式現在應該正在運行。如果您需要停止應用程序，可以在終端機中使用Ctrl+C來執行此操作。

維護和監控訂閱

下載器的 API 定義可以在/swagger端點找到，本地執行時間請參考 [http://localhost:5050/swagger]。這包括嘗試不同端點的能力。

新增訂閱

可以透過 POST 請求將訂閱新增至/subscriptions端點。請求內文應採用 JSON 編碼並遵循以下架構：

 schema :
  type : object
  properties :
    topic :
      type : string
      description : The WIS2 topic to subscribe to
      example : cache/a/wis2/+/data/core/weather/surface-based-observations/#
    target :
      type : string
      description : Sub directory to save data to
      example : surface-obs
  required :
    - topic

在此範例中，從任何 WIS2 中心發佈到surface-based-observations主題的所有通知都將被訂閱，下載的資料將寫入download_dir的surface-obs子目錄。

筆記：

1. 如果未指定target ，它將預設為發布資料的主題。
2. +通配符用於指定單一層級的任何匹配，在上例中匹配為 WIS2 中心。
3. #通配符會符合任何位於或低於其出現等級的主題。在上面的範例中，在 cache/a/wis2/+/data/core/weather/surface-based-observations 下發布的任何主題都會被比對。

新增訂閱的 CURL 命令範例

curl -X ' POST ' 
  ' http://127.0.0.1:5050/subscriptions ' 
  -H ' accept: application/json ' 
  -H ' Content-Type: application/json ' 
  -d ' {
      "topic": "cache/a/wis2/+/data/core/weather/surface-based-observations/#",
      "target": "surface-obs"
  } '

刪除訂閱

透過向/subscriptions/{topic}端點發送 DELETE 請求來刪除訂閱，其中{topic}是要取消訂閱的主題。

用於刪除訂閱的範例 CURL 命令

curl -X DELETE http://localhost:5050/subscriptions/cache/a/wis2/%2B/data/core/weather/%23

這會取消cache/a/wis2/+/data/core/weather/#訂閱。請注意，需要對+ ( %2B ) 和# ( %23 ) 符號進行 URL 編碼。

列出訂閱

可以透過對/subscriptions端點的 GET 請求列出目前訂閱。

用於列出訂閱的範例 CURL 命令

curl http://localhost:5050/subscriptions

活動訂閱清單應以 JSON 物件傳回。

查看下載指標

下載器的 Prometheus 指標可透過對/metrics端點的 GET 請求找到。

用於查看下載指標的 CURL 命令範例

curl http://localhost:5050/metrics

錯誤和問題

所有錯誤、增強功能和問題均在 GitHub 上進行管理。

接觸

• 羅裡·伯克
• 大衛貝裡