Download mrq - download do código-fonte mrq

mrq

Outro código-fonte

v0.9.10

Baixar

MRQ

MRQ é uma fila de tarefas distribuída para python construída sobre mongo, redis e gevent.

A documentação completa está disponível em readthedocs

Por que?

MRQ é uma fila de tarefas opinativa. O objetivo é ser simples e bonito como RQ e ao mesmo tempo ter performances próximas ao Celery

O MRQ foi desenvolvido pela primeira vez no Pricing Assistant e seu conjunto inicial de recursos atende às necessidades de filas de trabalhadores com trabalhos heterogêneos (ligados a IO e vinculados à CPU, muitas tarefas pequenas e algumas tarefas grandes).

Principais recursos

Código simples: originalmente mudamos do Celery para RQ porque o código do Celery era incrivelmente complexo e obscuro (Slides). O MRQ deve ser tão fácil de entender quanto o RQ e ainda mais fácil de estender.
Ótimo painel: tenha visibilidade e controle de tudo: trabalhos em fila, trabalhos atuais, status do trabalhador, ...
Logs por trabalho: obtenha a saída de log de cada tarefa separadamente no painel
Trabalhador Gevent: tarefas vinculadas a IO podem ser realizadas em paralelo no mesmo processo UNIX para obter rendimento máximo
Integração supervisionada: tarefas vinculadas à CPU podem ser divididas em vários processos UNIX com um único sinalizador de linha de comando
Gerenciamento de tarefas: você pode tentar novamente, colocar novamente na fila e cancelar tarefas no código ou no painel.
Desempenho: enfileiramento de trabalhos em massa, fácil criação de perfil de trabalho
Configuração fácil: todos os aspectos do MRQ são configuráveis por meio de sinalizadores de linha de comando ou de um arquivo de configuração
Roteamento de trabalho: assim como o Celery, os trabalhos podem ter filas, tempo limite e valores ttl padrão.
Agendador integrado: agende tarefas por intervalo ou hora do dia
Estratégias: Ordem de desenfileiramento sequencial ou paralelo, também um modo burst para trabalhos em lote únicos ou periódicos.
Subfilas: padrão de linha de comando simples para desenfileirar várias subfilas, usando descoberta automática do lado do trabalhador.
Testes completos: casos extremos como interrupções de trabalho, falhas de Redis, ... são testados dentro de um contêiner Docker.
Rastreamento de greenlet: veja quanto tempo foi gasto em cada greenlet para depurar trabalhos com uso intensivo de CPU.
Depurador de vazamento de memória integrado: rastreie trabalhos com vazamento de memória e encontre os vazamentos com o objgraph.

Capturas de tela do painel

Comece

Este tutorial de 5 minutos mostrará como executar seus primeiros trabalhos com MRQ.

Instalação

Certifique-se de ter instalado as dependências: Redis e MongoDB
Instale o MRQ com pip install mrq
Inicie um servidor mongo com mongod &
Inicie um servidor redis com redis-server &

Escreva sua primeira tarefa

Crie um novo diretório e escreva uma tarefa simples em um arquivo chamado tasks.py :

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

Execute-o de forma síncrona

Agora você pode executá-lo na linha de comando usando mrq-run :

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

Execute-o de forma assíncrona

Vamos agendar a mesma tarefa 3 vezes com parâmetros diferentes:

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

Você pode ver que em vez de executar as tarefas e retornar seus resultados imediatamente, mrq-run as adicionou à fila chamada fetches e imprimiu seus IDs.

Agora inicie o dasbhoard do MRQ com mrq-dashboard & e verifique sua fila e trabalhos recém-criados em localhost:5555

Eles estão prontos para serem retirados da fila por um trabalhador. Comece um com mrq-worker e siga-o no painel enquanto ele executa os trabalhos na fila em paralelo.

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']

Você pode interromper o trabalhador com Ctrl-C quando terminar.

Indo mais longe

Esta foi uma prévia dos recursos básicos do MRQ. O que o torna realmente útil é que:

Você pode executar vários trabalhadores em paralelo. Cada trabalhador também pode executar vários greenlets em paralelo.
Os trabalhadores podem sair da fila de várias filas
Você pode enfileirar trabalhos a partir do seu código Python para evitar o uso de mrq-run na linha de comando.

Esses recursos serão demonstrados em um exemplo futuro de um rastreador da web simples.