mrq下载 - mrq源代码下载

mrq

其他源码

v0.9.10

下载

MRQ

MRQ 是一个基于 mongo、redis 和 gevent 构建的 Python 分布式任务队列。

完整文档可在 readthedocs 上找到

为什么？

MRQ是一个固执己见的任务队列。它的目标是像RQ一样简单漂亮，同时具有接近Celery的性能

MRQ 最初是在 Pricing Assistant 中开发的，其初始功能集满足具有异构作业（IO 密集型和 CPU 密集型、大量小任务和一些大型任务）的工作队列的需求。

主要特点

简单的代码：我们最初从 Celery 切换到 RQ，因为 Celery 的代码非常复杂和晦涩（幻灯片）。 MRQ应该和RQ一样容易理解，甚至更容易扩展。
出色的仪表板：对所有内容都具有可见性和控制力：排队的作业、当前作业、工作人员状态……
每个作业日志：在仪表板中分别获取每个任务的日志输出
Gevent Worker： IO 密集型任务可以在同一 UNIX 进程中并行完成，以获得最大吞吐量
Supervisord 集成： CPU 密集型任务可以通过单个命令行标志拆分到多个 UNIX 进程中
作业管理：您可以从代码或仪表板重试、重新排队、取消作业。
性能：批量作业排队，轻松进行作业分析
轻松配置： MRQ 的每个方面都可以通过命令行标志或配置文件进行配置
作业路由：与 Celery 一样，作业可以具有默认队列、超时和 ttl 值。
内置调度程序：按时间间隔或一天中的时间安排任务
策略：顺序或并行出队顺序，也是一次性或周期性批处理作业的突发模式。
子队列：用于使多个子队列出队的简单命令行模式，使用工作端的自动发现。
彻底的测试：诸如工作中断、Redis 故障等边缘情况在 Docker 容器内进行测试。
Greenlet 跟踪：查看每个 greenlet 花费了多少时间来调试 CPU 密集型作业。
集成内存泄漏调试器：跟踪泄漏内存的作业并使用 objgraph 查找泄漏。

仪表板截图

开始使用

这个 5 分钟的教程将向您展示如何使用 MRQ 运行您的第一个作业。

安装

确保您已安装依赖项：Redis 和 MongoDB
使用pip install mrq安装 MRQ
使用mongod &启动 mongo 服务器
使用redis-server &启动 redis 服务器

写下你的第一个任务

创建一个新目录并在名为tasks.py的文件中编写一个简单的任务：

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

同步运行

您现在可以使用mrq-run从命令行运行它：

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

异步运行

让我们用不同的参数安排相同的任务 3 次：

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

您可以看到， mrq-run没有执行任务并立即返回其结果，而是将它们添加到名为fetches队列中并打印了它们的 ID。

现在使用mrq-dashboard &并在 localhost:5555 上检查新创建的队列和作业

它们已准备好由工作人员出队。使用mrq-worker启动一个，并在仪表板上跟踪它，因为它并行执行排队的作业。

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']