Загрузка mrq - Загрузка исходного кода mrq

mrq

Другой исходный код

v0.9.10

Скачать

МРЗ

MRQ — это распределенная очередь задач для Python, построенная на основе mongo, redis и gevent.

Полная документация доступна на readthedocs.

Почему?

MRQ — это продуманная очередь задач. Он стремится быть простым и красивым, как RQ, но при этом иметь характеристики, близкие к Celery.

MRQ был впервые разработан в Pricing Assistant, и его первоначальный набор функций соответствует потребностям рабочих очередей с разнородными заданиями (с привязкой к вводу-выводу и ЦП, множеством мелких задач и несколькими крупными).

Основные характеристики

Простой код: изначально мы перешли с Celery на RQ, потому что код Celery был невероятно сложным и непонятным (Слайды). MRQ должен быть таким же простым для понимания, как и RQ, и его еще проще расширять.
Отличная информационная панель: отслеживайте и контролируйте все: задания в очереди, текущие задания, статус работника и т. д.
Журналы для каждого задания: получайте выходные данные журнала для каждой задачи отдельно на панели мониторинга.
Gevent Worker: задачи, связанные с вводом-выводом, могут выполняться параллельно в одном и том же процессе UNIX для максимальной пропускной способности.
Интеграция Supervisord: задачи, связанные с ЦП, можно разделить на несколько процессов UNIX с помощью одного флага командной строки.
Управление заданиями: вы можете повторять, запрашивать и отменять задания из кода или с панели управления.
Производительность: групповая постановка заданий в очередь, простое профилирование заданий.
Простая настройка: каждый аспект MRQ настраивается с помощью флагов командной строки или файла конфигурации.
Маршрутизация заданий. Как и в случае с Celery, задания могут иметь очереди по умолчанию, значения времени ожидания и времени жизни.
Встроенный планировщик: планируйте задачи по интервалу или по времени дня.
Стратегии: последовательный или параллельный порядок удаления из очереди, а также пакетный режим для одноразовых или периодических пакетных заданий.
Подочереди: простой шаблон командной строки для удаления из очереди нескольких подочередей с использованием автоматического обнаружения со стороны исполнителя.
Тщательное тестирование: крайние случаи, такие как рабочие прерывания, сбои Redis... тестируются внутри контейнера Docker.
Трассировка гринлета: посмотрите, сколько времени было затрачено в каждом гринлете на отладку заданий с интенсивным использованием ЦП.
Встроенный отладчик утечек памяти: отслеживайте задания, в которых происходит утечка памяти, и находите утечки с помощью objgraph.

Скриншоты панели управления

Начать

Это 5-минутное руководство покажет вам, как запускать первые задания с помощью MRQ.

Установка

Убедитесь, что вы установили зависимости: Redis и MongoDB.
Установите MRQ с помощью pip install mrq
Запустите сервер mongo с помощью mongod &
Запустите сервер Redis с помощью redis-server &

Напишите свою первую задачу

Создайте новый каталог и напишите простую задачу в файле с именем tasks.py :

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

Запустите его синхронно

Теперь вы можете запустить его из командной строки, используя mrq-run :

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

Запустите его асинхронно

Давайте запланируем одну и ту же задачу 3 раза с разными параметрами:

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

Вы можете видеть, что вместо того, чтобы сразу выполнить задачи и вернуть их результаты, mrq-run добавил их в очередь с именем fetches и распечатал их идентификаторы.

Теперь запустите панель управления MRQ с помощью mrq-dashboard & проверьте вновь созданную очередь и задания на локальном хосте: 5555.

Они готовы к исключению из очереди работником. Запустите его с помощью mrq-worker и следите за ним на панели управления, поскольку он параллельно выполняет задания в очереди.

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']

Вы можете прервать работника, нажав Ctrl-C, как только он завершится.

Идем дальше

Это был предварительный обзор самых основных функций MRQ. Что делает его действительно полезным, так это то, что:

Вы можете запускать несколько воркеров параллельно. Каждый работник также может запускать несколько гринлетов параллельно.
Рабочие могут удалять из нескольких очередей
Вы можете поставить задания в очередь из своего кода Python, чтобы избежать использования mrq-run из командной строки.

Эти функции будут продемонстрированы в будущем примере простого веб-сканера.