mrqダウンロード - mrqソースコードのダウンロード

mrq

その他のソースコード

v0.9.10

ダウンロード

MRQ

MRQ は、mongo、redis、gevent 上に構築された Python 用の分散タスクキューです。

完全なドキュメントは readthedocs で入手できます

なぜ？

MRQ は独自のタスクキューです。セロリに近い性能を持ちながらもRQのようなシンプルで美しいことを目指しています

MRQ は最初に Pricing Assistant で開発され、その初期機能セットは異種ジョブ (IO バウンドと CPU バウンド、多数の小さなタスクといくつかの大きなタスク) を持つワーカーキューのニーズに適合します。

主な特長

シンプルなコード: Celery のコードは信じられないほど複雑でわかりにくいため、最初は Celery から RQ に切り替えました (スライド)。 MRQ は RQ と同じくらい理解しやすく、さらに拡張しやすいものである必要があります。
優れたダッシュボード:キューに入れられたジョブ、現在のジョブ、ワーカーのステータスなど、すべてを可視化して制御できます。
ジョブごとのログ:ダッシュボードで各タスクのログ出力を個別に取得します。
Gevent ワーカー: IO バウンドのタスクを同じ UNIX プロセスで並行して実行できるため、スループットが最大化されます。
Supervisord の統合: CPU に依存するタスクを、単一のコマンドラインフラグを使用して複数の UNIX プロセスに分割できます。
ジョブ管理:コードまたはダッシュボードからジョブの再試行、再キューイング、キャンセルを行うことができます。
パフォーマンス:一括ジョブキューイング、簡単なジョブプロファイリング
簡単な構成: MRQ のあらゆる側面は、コマンドラインフラグまたは構成ファイルを通じて構成可能です。
ジョブのルーティング: Celery と同様に、ジョブにはデフォルトのキュー、タイムアウト、TTL 値を設定できます。
内蔵スケジューラー:間隔または時刻ごとにタスクをスケジュールします。
戦略:順次または並列のデキュー順序。1 回限りまたは定期的なバッチジョブのバーストモードも使用できます。
サブキュー:ワーカー側からの自動検出を使用して、複数のサブキューをデキューするための単純なコマンドラインパターン。
徹底的なテスト:ワーカーの中断、Redis の障害などのエッジケースは、Docker コンテナー内でテストされます。
グリーンレットトレース: CPU 負荷の高いジョブのデバッグに各グリーンレットで費やされた時間を確認します。
統合されたメモリリークデバッガー:メモリリークを起こしているジョブを追跡し、objgraph でリークを見つけます。

ダッシュボードのスクリーンショット

始めましょう

この 5 分間のチュートリアルでは、MRQ を使用して最初のジョブを実行する方法を説明します。

インストール

依存関係がインストールされていることを確認してください: Redis と MongoDB
pip install mrqで MRQ をインストールします
mongod &
redis-server &で Redis サーバーを起動します

最初のタスクを書きます

新しいディレクトリを作成し、 tasks.pyというファイルに簡単なタスクを書き込みます。

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

同期的に実行する

mrq-run使用してコマンドラインから実行できるようになりました。

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

非同期で実行する

異なるパラメータを使用して同じタスクを 3 回スケジュールしてみましょう。

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

タスクを実行してその結果をすぐに返す代わりに、 mrq-runタスクをfetchesという名前のキューに追加し、その ID を出力していることがわかります。

次に、 mrq-dashboard & localhost:5555 で新しく作成されたキューとジョブを確認します。

これらはワーカーによってデキューされる準備ができています。 mrq-workerで 1 つを開始し、キューに入れられたジョブを並行して実行するときにダッシュボード上でそれをたどります。

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']