Inicio>Relacionado con la programación>Otro código fuente
Descargar

MRQ

MRQ es una cola de tareas distribuida para Python construida sobre mongo, redis y gevent.

La documentación completa está disponible en readthedocs

¿Por qué?

MRQ es una cola de tareas obstinada. Su objetivo es ser simple y hermoso como RQ y al mismo tiempo tener actuaciones cercanas a Celery.

MRQ se desarrolló por primera vez en Pricing Assistant y su conjunto de funciones inicial coincide con las necesidades de las colas de trabajadores con trabajos heterogéneos (vinculados a IO y CPU, muchas tareas pequeñas y algunas grandes).

Características principales

  • Código simple: originalmente cambiamos de Celery a RQ porque el código de Celery era increíblemente complejo y oscuro (Diapositivas). MRQ debería ser tan fácil de entender como RQ e incluso más fácil de ampliar.
  • Excelente panel de control: tenga visibilidad y control sobre todo: trabajos en cola, trabajos actuales, estado del trabajador,...
  • Registros por trabajo: obtenga el resultado del registro de cada tarea por separado en el panel
  • Trabajador de Gevent: las tareas vinculadas a IO se pueden realizar en paralelo en el mismo proceso UNIX para obtener el máximo rendimiento
  • Integración de supervisión: las tareas vinculadas a la CPU se pueden dividir en varios procesos UNIX con un único indicador de línea de comando
  • Gestión de trabajos: puede reintentar, poner en cola y cancelar trabajos desde el código o el panel.
  • Rendimiento: colas de trabajos masivos, creación de perfiles de trabajos sencilla
  • Configuración sencilla: todos los aspectos de MRQ se pueden configurar mediante indicadores de línea de comandos o un archivo de configuración.
  • Enrutamiento de trabajos: al igual que Celery, los trabajos pueden tener colas, tiempos de espera y valores ttl predeterminados.
  • Programador incorporado: programe tareas por intervalo o por hora del día
  • Estrategias: Orden de retirada de cola secuencial o paralelo, también un modo de ráfaga para trabajos por lotes periódicos o únicos.
  • Subcolas: patrón de línea de comandos simple para quitar de la cola varias subcolas, utilizando el descubrimiento automático desde el lado del trabajador.
  • Pruebas exhaustivas: los casos extremos, como interrupciones de trabajadores, fallas de Redis, etc., se prueban dentro de un contenedor Docker.
  • Seguimiento de greenlet: vea cuánto tiempo se dedicó a cada greenlet para depurar trabajos con uso intensivo de CPU.
  • Depurador de pérdidas de memoria integrado: localice los trabajos que pierden memoria y encuentre las fugas con objgraph.

Capturas de pantalla del panel

Empezar

Este tutorial de 5 minutos le mostrará cómo ejecutar sus primeros trabajos con MRQ.

Instalación

  • Asegúrese de haber instalado las dependencias: Redis y MongoDB
  • Instale MRQ con pip install mrq
  • Iniciar un servidor mongo con mongod &
  • Inicie un servidor redis con redis-server &

Escribe tu primera tarea

Cree un nuevo directorio y escriba una tarea simple en un archivo llamado tasks.py : 

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py
 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

Ejecútelo sincrónicamente

Ahora puedes ejecutarlo desde la línea de comando usando mrq-run : 

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

Ejecútelo de forma asincrónica

Programemos la misma tarea 3 veces con diferentes parámetros: 

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

Puede ver que en lugar de ejecutar las tareas y devolver sus resultados de inmediato, mrq-run las agregó a la cola denominada fetches e imprimió sus ID.

Ahora inicie dasbhoard de MRQ con mrq-dashboard & y vaya a verificar su cola y trabajos recién creados en localhost:5555

Están listos para que un trabajador los quite de la cola. Inicie uno con mrq-worker y sígalo en el panel mientras ejecuta los trabajos en cola en paralelo. 

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']

Puede interrumpir al trabajador con Ctrl-C una vez que haya terminado.

Yendo más lejos

Esta fue una vista previa de las características básicas de MRQ. Lo que lo hace realmente útil es que:

  • Puede ejecutar varios trabajadores en paralelo. Cada trabajador también puede ejecutar varios greenlets en paralelo.
  • Los trabajadores pueden salir de varias colas
  • Puede poner en cola trabajos desde su código Python para evitar usar mrq-run desde la línea de comandos.

Estas características se demostrarán en un ejemplo futuro de un rastreador web sencillo.

Más

La documentación completa está disponible en readthedocs

Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo