mrq -Download - mrq Quellcode-Download

mrq

Anderer Quellcode

v0.9.10

Herunterladen

MRQ

MRQ ist eine verteilte Aufgabenwarteschlange für Python, die auf Mongo, Redis und Gevent basiert.

Die vollständige Dokumentation finden Sie unter readthedocs

Warum?

MRQ ist eine eigensinnige Aufgabenwarteschlange. Ziel ist es, einfach und schön wie RQ zu sein und gleichzeitig Celery-ähnliche Leistungen zu erbringen

MRQ wurde erstmals bei Pricing Assistant entwickelt und sein anfänglicher Funktionsumfang entspricht den Anforderungen von Worker-Warteschlangen mit heterogenen Jobs (IO-gebunden und CPU-gebunden, viele kleine und einige große Aufgaben).

Hauptmerkmale

Einfacher Code: Wir sind ursprünglich von Celery auf RQ umgestiegen, weil der Code von Celery unglaublich komplex und undurchsichtig war (Folien). MRQ sollte genauso einfach zu verstehen wie RQ und noch einfacher zu erweitern sein.
Tolles Dashboard: Erhalten Sie Transparenz und Kontrolle über alles: Aufträge in der Warteschlange, aktuelle Aufträge, Arbeiterstatus, ...
Protokolle pro Job: Erhalten Sie die Protokollausgabe jeder Aufgabe separat im Dashboard
Gevent-Worker: E/A-gebundene Aufgaben können für maximalen Durchsatz parallel im selben UNIX-Prozess ausgeführt werden
Supervisord-Integration: CPU-gebundene Aufgaben können mit einem einzigen Befehlszeilen-Flag auf mehrere UNIX-Prozesse aufgeteilt werden
Auftragsverwaltung: Sie können Aufträge über den Code oder das Dashboard erneut versuchen, in die Warteschlange stellen oder abbrechen.
Leistung: Massen-Job-Warteschlangen, einfache Job-Profilerstellung
Einfache Konfiguration: Jeder Aspekt von MRQ ist über Befehlszeilen-Flags oder eine Konfigurationsdatei konfigurierbar
Job-Routing: Wie Celery können Jobs Standardwarteschlangen, Timeout- und TTL-Werte haben.
Integrierter Planer: Planen Sie Aufgaben nach Intervall oder Tageszeit
Strategien: Sequentielle oder parallele Reihenfolge beim Entfernen aus der Warteschlange, auch ein Burst-Modus für einmalige oder periodische Batch-Jobs.
Unterwarteschlangen: Einfaches Befehlszeilenmuster zum Entfernen mehrerer Unterwarteschlangen unter Verwendung der automatischen Erkennung auf Worker-Seite.
Gründliche Tests: Edge-Fälle wie Worker-Interrupts, Redis-Fehler usw. werden in einem Docker-Container getestet.
Greenlet-Ablaufverfolgung: Sehen Sie, wie viel Zeit in jedem Greenlet für das Debuggen CPU-intensiver Jobs aufgewendet wurde.
Integrierter Speicherleck-Debugger: Spüren Sie Jobs auf, bei denen Speicher verloren geht, und finden Sie die Lecks mit objgraph.

Dashboard-Screenshots

Legen Sie los

Dieses 5-minütige Tutorial zeigt Ihnen, wie Sie Ihre ersten Jobs mit MRQ ausführen.

Installation

Stellen Sie sicher, dass Sie die Abhängigkeiten installiert haben: Redis und MongoDB
Installieren Sie MRQ mit pip install mrq
Starten Sie einen Mongo-Server mit mongod &
Starten Sie einen Redis-Server mit redis-server &

Schreiben Sie Ihre erste Aufgabe

Erstellen Sie ein neues Verzeichnis und schreiben Sie eine einfache Aufgabe in eine Datei namens tasks.py :

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

Führen Sie es synchron aus

Sie können es jetzt über die Befehlszeile mit mrq-run ausführen:

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

Führen Sie es asynchron aus

Lassen Sie uns die gleiche Aufgabe dreimal mit unterschiedlichen Parametern planen:

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

Sie können sehen, dass mrq-run die Aufgaben nicht sofort ausführt und ihre Ergebnisse zurückgibt, sondern mrq-run sie zur Warteschlange mit dem Namen fetches hinzugefügt und ihre IDs gedruckt hat.

Starten Sie nun das Dashboard von MRQ mit mrq-dashboard & und überprüfen Sie Ihre neu erstellte Warteschlange und Jobs auf localhost:5555

Sie sind bereit, von einem Arbeiter aus der Warteschlange entfernt zu werden. Starten Sie einen mit mrq-worker und verfolgen Sie ihn auf dem Dashboard, während er die in der Warteschlange befindlichen Jobs parallel ausführt.

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']

Sie können den Worker mit Strg-C unterbrechen, sobald er fertig ist.

Weiter gehen

Dies war eine Vorschau auf die grundlegenden Funktionen von MRQ. Was es tatsächlich nützlich macht, ist Folgendes:

Sie können mehrere Worker parallel ausführen. Jeder Arbeiter kann auch mehrere Greenlets parallel betreiben.
Mitarbeiter können aus mehreren Warteschlangen aus der Warteschlange entfernt werden
Sie können Jobs aus Ihrem Python-Code in die Warteschlange stellen, um die Verwendung mrq-run über die Befehlszeile zu vermeiden.

Diese Funktionen werden in einem zukünftigen Beispiel eines einfachen Webcrawlers demonstriert.