تنزيل mrq - تنزيل كود مصدر mrq

mrq

شفرة المصدر الأخرى

v0.9.10

تنزيل

MRQ

MRQ عبارة عن قائمة انتظار مهام موزعة لبيثون مبنية على قمة مونجو وريديس وجيفينت.

الوثائق الكاملة متاحة على readthedocs

لماذا؟

MRQ عبارة عن قائمة انتظار مهام مدروسة. تهدف إلى أن تكون بسيطة وجميلة مثل RQ مع تقديم عروض قريبة من Celery

تم تطوير MRQ لأول مرة في Pricing Assistant وتتوافق مجموعة الميزات الأولية الخاصة به مع احتياجات قوائم انتظار العمال مع المهام غير المتجانسة (المرتبطة بـ IO والمرتبطة بوحدة المعالجة المركزية، والكثير من المهام الصغيرة وبعض المهام الكبيرة).

الميزات الرئيسية

كود بسيط: لقد قمنا في الأصل بالتبديل من Celery إلى RQ لأن كود Celery كان معقدًا وغامضًا بشكل لا يصدق (الشرائح). يجب أن يكون MRQ سهل الفهم مثل RQ وأسهل في التوسع.
لوحة تحكم رائعة: تمتع بالرؤية والتحكم في كل شيء: الوظائف في قائمة الانتظار، والوظائف الحالية، وحالة العامل، ...
سجلات لكل مهمة: احصل على مخرجات السجل لكل مهمة على حدة في لوحة المعلومات
عامل Gevent: يمكن تنفيذ المهام المرتبطة بـ IO بالتوازي في نفس عملية UNIX لتحقيق أقصى قدر من الإنتاجية
تكامل المشرف: يمكن تقسيم المهام المرتبطة بوحدة المعالجة المركزية عبر العديد من عمليات UNIX باستخدام علامة سطر أوامر واحدة
إدارة الوظائف: يمكنك إعادة المحاولة أو إعادة ترتيب المهام أو إلغائها من الكود أو لوحة المعلومات.
الأداء: قوائم انتظار المهام المجمعة، والتوصيف السهل للوظائف
التكوين السهل: كل جانب من جوانب MRQ قابل للتكوين من خلال إشارات سطر الأوامر أو ملف التكوين
توجيه الوظيفة: مثل Celery، يمكن أن تحتوي المهام على قوائم انتظار افتراضية ومهلة وقيم ttl.
جدولة مدمجة: جدولة المهام حسب الفاصل الزمني أو حسب الوقت من اليوم
الاستراتيجيات: ترتيب قائمة الانتظار المتسلسل أو المتوازي، وأيضًا وضع الاندفاع للمهام المجمعة لمرة واحدة أو دورية.
قوائم الانتظار الفرعية: نمط سطر أوامر بسيط لحذف قوائم انتظار فرعية متعددة، باستخدام الاكتشاف التلقائي من جانب العامل.
اختبار شامل: يتم اختبار حالات الحافة مثل مقاطعة العامل، وفشل Redis، ... داخل حاوية Docker.
تتبع Greenlet: تعرف على مقدار الوقت الذي تم إنفاقه في كل Greenlet لتصحيح أخطاء المهام كثيفة الاستخدام لوحدة المعالجة المركزية.
مصحح أخطاء تسرب الذاكرة المتكامل: تعقب الوظائف التي تتسبب في تسرب الذاكرة وابحث عن التسريبات باستخدام objgraph.

لقطات شاشة لوحة القيادة

ابدأ

سيوضح لك هذا البرنامج التعليمي الذي مدته 5 دقائق كيفية تشغيل وظائفك الأولى باستخدام MRQ.

تثبيت

تأكد من تثبيت التبعيات: Redis وMongoDB
تثبيت MRQ مع pip install mrq
ابدأ تشغيل خادم mongo باستخدام mongod &
بدء تشغيل خادم redis باستخدام redis-server &

اكتب مهمتك الأولى

قم بإنشاء دليل جديد واكتب مهمة بسيطة في ملف يسمى tasks.py :

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

تشغيله بشكل متزامن

يمكنك الآن تشغيله من سطر الأوامر باستخدام mrq-run :

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

تشغيله بشكل غير متزامن

لنقم بجدولة نفس المهمة 3 مرات بمعلمات مختلفة:

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

يمكنك أن ترى أنه بدلاً من تنفيذ المهام وإرجاع نتائجها على الفور، أضافها mrq-run إلى قائمة الانتظار المسماة fetches وطبع معرفاتها.

ابدأ الآن dasbhoard الخاص بـ MRQ باستخدام mrq-dashboard & وانتقل للتحقق من قائمة الانتظار والوظائف التي تم إنشاؤها حديثًا على المضيف المحلي:5555

إنهم جاهزون للوقوف في قائمة الانتظار من قبل العامل. ابدأ باستخدام mrq-worker واتبعه على لوحة المعلومات أثناء تنفيذ المهام المدرجة في قائمة الانتظار بالتوازي.

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']

يمكنك مقاطعة العامل باستخدام Ctrl-C بمجرد الانتهاء.

نذهب أبعد من ذلك

كانت هذه معاينة للميزات الأساسية لـ MRQ. ما يجعلها مفيدة فعلا هو أن:

يمكنك تشغيل عدة عمال بالتوازي. يمكن لكل عامل أيضًا تشغيل عدة نباتات خضراء بالتوازي.
يمكن للعمال الخروج من قوائم الانتظار المتعددة
يمكنك وضع المهام في قائمة الانتظار من كود Python الخاص بك لتجنب استخدام mrq-run من سطر الأوامر.

سيتم توضيح هذه الميزات في مثال مستقبلي لزاحف ويب بسيط.