wis2ダウンローダー

WIS2 ダウンローダー

WIS2 ネットワーク上の最新データをサブスクライブするためのバックエンド ツール

WIS2 ダウンローダーは、WIS2 グローバル ブローカーへの接続、トピック階層へのサブスクリプションの管理、および関連するダウンロード ディレクトリの構成を可能にする Flask ベースの Python アプリケーションです。

特徴

• 動的なサブスクリプション管理: サービスを再起動したり構成ファイルを変更したりすることなく、アドホックにサブスクリプションをすばやく追加または削除できます。
• ダウンロード統計の監視: /metricsエンドポイントを介して Prometheus メトリクスにアクセスします。これは Grafana の視覚化に最適です。
• マルチスレッドのサポート: データのダウンロードをより効率的に行うために、ダウンロード ワーカーの数を構成します。

はじめる

1. インストール

python -m pip install wis2downloader

2. 構成

次のスキーマに準拠するファイルconfig.jsonローカル ディレクトリに作成します。

 schema :
  type : object
  properties :
    base_url :
      type : string
      description :
        Base URL for the wis2downloader service.
      example : http://localhost:5050
    broker_hostname :
      type : string
      description : The hostname of the global broker to subscribe to.
      example : globalbroker.meteo.fr
    broker_password :
      type : string
      description : The password to use when connecting to the specified global broker.
      example : everyone
    broker_port :
      type : number
      description : The port the global broker is using for the specified protocol.
      example : 443
    broker_protocol :
      type : string
      description : The protocol (websockets or tcp) to use when connecting to the global broker.
      example : websockets
    broker_username :
      type : string
      description : The username to use when connecting to the global broker.
      example : everyone
    download_workers :
      type : number
      description : The number of download worker threads to spawn.
      example : 1
    download_dir :
      type : string
      description : The path to download data to on the server/computer running the wis2downloader.
      example : ./downloads
    flask_host :
      type : string
      description : Network interface on which flask should listen when run in dev mode.
      example : 0.0.0.0
    flask_port :
      type : number
      description : The port on which flask should listen when run in dev mode.
      example : 5050
    log_level :
      type : string
      description : Log level to use
      example : DEBUG
    log_path :
      type : string
      description : Path to write log files to.
      example : ./logs
    min_free_space :
      type : number
      description :
        Minimum free space (GB) to leave on download volume / disk after download.
        Files exceeding limit will not be saved.
      example : 10
    save_logs :
      type : boolean
      description : Write log files to disk (true) or stdout (false)
      example : false
    mqtt_session_info :
      type : string
      description :
        File to save session information (active subscriptions and MQTT client id) to.
        Used to persist subscriptions on restart.
      example : mqtt_session.json
    validate_topics :
      type : boolean
      description : Whether to validate the specified topic against the published WIS2 topic hierarchy.
      example : true

以下に例を示します。

{
    "base_url" : " http://localhost:5050 " ,
    "broker_hostname" : " globalbroker.meteo.fr " ,
    "broker_password" : " everyone " ,
    "broker_port" : 443 ,
    "broker_protocol" : " websockets " ,
    "broker_username" : " everyone " ,
    "download_workers" : 1 ,
    "download_dir" : " downloads " ,
    "flask_host" : " 0.0.0.0 " ,
    "flask_port" : 5050 ,
    "log_level" : " DEBUG " ,
    "log_path" : " logs " ,
    "min_free_space" : 10 ,
    "mqtt_session_info" : " mqtt_session.json " ,
    "save_logs" : false ,
    "validate_topics" : true
}

3. ランニング

1. config.json ファイルへのパスを指定する環境変数を設定します。

Linux (バッシュ)

 export WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >

Windows（コマンドプロンプト）

 set WIS2DOWNLOADER_CONFIG= < path_to_your_config_file >

Windows (パワーシェル)

 $env :WIS2DOWNLOADER_CONFIG = < path_to_your_config_file >

2. ダウンローダーを起動する

開発モード (Windows および Linux)

wis2downloader

gunicorn の使用 (Linux のみ)

gunicorn --bind 0.0.0.0:5050 -w 1 wis2downloader.app:app

注: ダウンローダーが追加のスレッドを生成し、MQTT 接続を永続化するため、サポートされるワーカーは 1 つだけです。

Flask アプリケーションが実行されているはずです。アプリケーションを停止する必要がある場合は、ターミナルでCtrl+Cを使用して停止できます。

サブスクリプションの維持と監視

ダウンローダーの API 定義は/swaggerエンドポイントにあり、ローカルで実行する場合は [http://localhost:5050/swagger] を参照してください。これには、さまざまなエンドポイントを試す機能が含まれます。

サブスクリプションの追加

サブスクリプションは、POST リクエストを介して/subscriptionsエンドポイントに追加できます。リクエスト本文は JSON でエンコードされ、次のスキーマに準拠している必要があります。

 schema :
  type : object
  properties :
    topic :
      type : string
      description : The WIS2 topic to subscribe to
      example : cache/a/wis2/+/data/core/weather/surface-based-observations/#
    target :
      type : string
      description : Sub directory to save data to
      example : surface-obs
  required :
    - topic

この例では、WIS2 センターからsurface-based-observationsトピックに発行されたすべての通知がサブスクライブされ、ダウンロードされたデータはdownload_dirのsurface-obsサブディレクトリに書き込まれます。

注:

1. targetが指定されていない場合は、データが公開されているトピックがデフォルトで使用されます。
2. +ワイルドカードは、単一レベルでの一致を指定するために使用され、上の例では WIS2 センターとして一致します。
3. #ワイルドカードは、そのレベル以下のトピックに一致します。上の例では、cache/a/wis2/+/data/core/weather/surface-based-observations の下に公開されたトピックが一致します。

サブスクリプションを追加するための CURL コマンドの例

curl -X ' POST ' 
  ' http://127.0.0.1:5050/subscriptions ' 
  -H ' accept: application/json ' 
  -H ' Content-Type: application/json ' 
  -d ' {
      "topic": "cache/a/wis2/+/data/core/weather/surface-based-observations/#",
      "target": "surface-obs"
  } '

サブスクリプションの削除

サブスクリプションは/subscriptions/{topic}エンドポイントへの DELETE リクエストによって削除されます。ここで、 {topic}はサブスクライブを解除するトピックです。

サブスクリプションを削除する CURL コマンドの例

curl -X DELETE http://localhost:5050/subscriptions/cache/a/wis2/%2B/data/core/weather/%23

これによりcache/a/wis2/+/data/core/weather/#サブスクリプションがキャンセルされます。 + ( %2B ) および# ( %23 ) 記号を URL エンコードする必要があることに注意してください。

サブスクリプションのリスト表示

現在のサブスクリプションは、 /subscriptionsエンドポイントへの GET リクエストを介して一覧表示できます。

サブスクリプションを一覧表示する CURL コマンドの例

curl http://localhost:5050/subscriptions

アクティブなサブスクリプションのリストは、JSON オブジェクトとして返される必要があります。

ダウンロードメトリクスの表示

ダウンローダーの Prometheus メトリクスは、 /metricsエンドポイントへの GET リクエストを介して検出されます。

ダウンロードメトリクスを表示するための CURL コマンドの例

curl http://localhost:5050/metrics

バグと問題

すべてのバグ、機能拡張、問題は GitHub で管理されます。

接触

• ロリー・バーク
• デビッド・ベリー