mrq Unduh - unduhan kode sumber mrq

mrq

Kode sumber lainnya

v0.9.10

Unduh

MRQ

MRQ adalah antrian tugas terdistribusi untuk python yang dibangun di atas mongo, redis, dan gevent.

Dokumentasi lengkap tersedia di readthedocs

Mengapa?

MRQ adalah antrian tugas yang berpendirian keras. Ini bertujuan untuk menjadi sederhana dan cantik seperti RQ sambil menampilkan penampilan yang mirip dengan Celery

MRQ pertama kali dikembangkan di Pricing Assistant dan rangkaian fitur awalnya sesuai dengan kebutuhan antrean pekerja dengan pekerjaan heterogen (terikat IO & terikat CPU, banyak tugas kecil & beberapa tugas besar).

Fitur Utama

Kode sederhana: Kami awalnya beralih dari Seledri ke RQ karena kode Seledri sangat rumit dan tidak jelas (Slide). MRQ harus mudah dipahami seperti RQ dan bahkan lebih mudah untuk diperluas.
Dasbor yang bagus: Memiliki visibilitas dan kontrol dalam segala hal: pekerjaan yang antri, pekerjaan saat ini, status pekerja, ...
Log per pekerjaan: Dapatkan keluaran log setiap tugas secara terpisah di dasbor
Pekerja Gevent: Tugas terikat IO dapat dilakukan secara paralel dalam proses UNIX yang sama untuk throughput maksimum
Integrasi supervisor: tugas-tugas yang terikat CPU dapat dibagi menjadi beberapa proses UNIX dengan satu tanda baris perintah
Manajemen pekerjaan: Anda dapat mencoba lagi, mengantri ulang, membatalkan pekerjaan dari kode atau dasbor.
Kinerja: Antrean pekerjaan massal, pembuatan profil pekerjaan mudah
Konfigurasi mudah: Setiap aspek MRQ dapat dikonfigurasi melalui flag baris perintah atau file konfigurasi
Perutean pekerjaan: Seperti Seledri, pekerjaan dapat memiliki antrian default, nilai batas waktu, dan ttl.
Penjadwal bawaan: Menjadwalkan tugas berdasarkan interval atau waktu
Strategi: Urutan dequeue berurutan atau paralel, juga mode burst untuk pekerjaan batch satu kali atau berkala.
Subantrean: Pola baris perintah sederhana untuk menghapus antrean beberapa sub antrean, menggunakan penemuan otomatis dari sisi pekerja.
Pengujian menyeluruh: Kasus edge seperti interupsi pekerja, kegagalan Redis, ... diuji di dalam container Docker.
Pelacakan Greenlet: Lihat berapa banyak waktu yang dihabiskan di setiap greenlet untuk men-debug pekerjaan yang membutuhkan banyak CPU.
Debugger kebocoran memori terintegrasi: Lacak pekerjaan yang membocorkan memori dan temukan kebocorannya dengan objgraph.

Tangkapan Layar Dasbor

Memulai

Tutorial 5 menit ini akan menunjukkan cara menjalankan pekerjaan pertama Anda dengan MRQ.

Instalasi

Pastikan Anda telah menginstal dependensi : Redis dan MongoDB
Instal MRQ dengan pip install mrq
Mulai server mongo dengan mongod &
Mulai server redis dengan redis-server &

Tulis tugas pertama Anda

Buat direktori baru dan tulis tugas sederhana dalam file bernama tasks.py :

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

Jalankan secara sinkron

Anda sekarang dapat menjalankannya dari baris perintah menggunakan mrq-run :

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

Jalankan secara asinkron

Mari kita jadwalkan tugas yang sama sebanyak 3 kali dengan parameter berbeda:

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

Anda dapat melihat bahwa alih-alih menjalankan tugas dan langsung mengembalikan hasilnya, mrq-run telah menambahkannya ke antrian bernama fetches dan mencetak ID mereka.

Sekarang mulai dasbhoard MRQ dengan mrq-dashboard & dan periksa antrian dan pekerjaan yang baru Anda buat di localhost:5555

Mereka siap untuk di-dequeue oleh seorang pekerja. Mulai dengan mrq-worker dan ikuti di dasbor saat menjalankan pekerjaan yang diantri secara paralel.

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']

Anda dapat menginterupsi pekerja dengan Ctrl-C setelah selesai.

Lebih jauh lagi

Ini adalah pratinjau fitur-fitur paling dasar MRQ. Apa yang membuatnya benar-benar berguna adalah:

Anda dapat menjalankan banyak pekerja secara paralel. Setiap pekerja juga dapat menjalankan beberapa greenlet secara paralel.
Pekerja dapat melakukan dequeue dari beberapa antrian
Anda dapat mengantri pekerjaan dari kode Python Anda untuk menghindari penggunaan mrq-run dari baris perintah.

Fitur-fitur ini akan didemonstrasikan pada contoh web crawler sederhana di masa mendatang.