mrq 다운로드 - mrq 소스 코드 다운로드

mrq

기타 소스코드

v0.9.10

다운로드

MRQ

MRQ는 mongo, redis 및 gevent를 기반으로 구축된 Python용 분산 작업 대기열입니다.

전체 문서는 readthedocs에서 볼 수 있습니다.

왜?

MRQ는 독선적인 작업 대기열입니다. 셀러리에 가까운 퍼포먼스를 가지면서 RQ처럼 심플하고 아름다운 것을 지향합니다.

MRQ는 Pricing Assistant에서 처음 개발되었으며 초기 기능 세트는 이기종 작업(IO 바인딩 및 CPU 바인딩, 많은 작은 작업 및 몇 가지 큰 작업)이 있는 작업자 대기열의 요구 사항과 일치합니다.

주요 특징

간단한 코드: Celery의 코드가 엄청나게 복잡하고 모호했기 때문에 원래 Celery에서 RQ로 전환했습니다(슬라이드). MRQ는 RQ만큼 이해하기 쉽고 확장하기도 더 쉬워야 합니다.
훌륭한 대시보드: 대기 중인 작업, 현재 작업, 작업자 상태 등 모든 것에 대한 가시성과 제어권을 확보하세요.
작업별 로그: 대시 보드에서 각 작업의 로그 출력을 개별적으로 가져옵니다.
Gevent 작업자: 최대 처리량을 위해 IO 바인딩 작업을 동일한 UNIX 프로세스에서 병렬로 수행할 수 있습니다.
감독자 통합: 단일 명령줄 플래그를 사용하여 CPU 바인딩 작업을 여러 UNIX 프로세스로 분할할 수 있습니다.
작업 관리: 코드나 대시보드에서 작업을 재시도하고, 다시 대기열에 추가하고, 취소할 수 있습니다.
성능: 대량 작업 대기열, 손쉬운 작업 프로파일링
쉬운 구성: MRQ의 모든 측면은 명령줄 플래그 또는 구성 파일을 통해 구성 가능
작업 라우팅: Celery와 마찬가지로 작업에는 기본 대기열, 시간 초과 및 ttl 값이 있을 수 있습니다.
내장 스케줄러: 간격 또는 하루 중 시간별로 작업 일정을 계획합니다.
전략: 순차적 또는 병렬 대기열 제거 순서, 일회성 또는 주기적인 일괄 작업을 위한 버스트 모드.
하위 대기열: 작업자 측에서 자동 검색을 사용하여 여러 하위 대기열을 대기열에서 빼기 위한 간단한 명령줄 패턴입니다.
철저한 테스트: 작업자 중단, Redis 오류 등과 같은 엣지 케이스는 Docker 컨테이너 내에서 테스트됩니다.
Greenlet 추적: CPU 집약적인 작업을 디버깅하기 위해 각 Greenlet에서 소요된 시간을 확인합니다.
통합 메모리 누수 디버거: 메모리 누수 작업을 추적하고 objgraph를 사용하여 누수를 찾습니다.

대시보드 스크린샷

시작하기

이 5분 튜토리얼에서는 MRQ를 사용하여 첫 번째 작업을 실행하는 방법을 보여줍니다.

설치

종속성을 설치했는지 확인하십시오: Redis 및 MongoDB
pip install mrq 로 MRQ 설치
mongod & 로 mongo 서버를 시작하세요
redis-server & 사용하여 Redis 서버 시작

첫 번째 작업 작성

새 디렉터리를 만들고 tasks.py 라는 파일에 간단한 작업을 작성합니다.

$ mkdir test-mrq && cd test-mrq
$ touch __init__.py
$ vim tasks.py

 from mrq . task import Task
import urllib2


class Fetch ( Task ):

    def run ( self , params ):

        with urllib2 . urlopen ( params [ "url" ]) as f :
          t = f . read ()
          return len ( t )

동기식으로 실행

이제 mrq-run 사용하여 명령줄에서 실행할 수 있습니다.

 $ mrq-run tasks.Fetch url http ://www.google.com

2014-12-18 15 :44:37.869029 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :44:37.880115 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :44:37.880305 [DEBUG] Starting tasks.Fetch({'url': 'http://www.google.com'})
2014-12-18 15 :44:38.158572 [DEBUG] Job None success: 0.278229s total
17655

비동기식으로 실행

다른 매개변수를 사용하여 동일한 작업을 3회 예약해 보겠습니다.

 $ mrq-run --queue fetches tasks.Fetch url http ://www.google.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.yahoo.com &&
  mrq-run --queue fetches tasks.Fetch url http ://www.wordpress.com

2014-12-18 15 :49:05.688627 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.705400 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.729364 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887bfdf4b0f
2014-12-18 15 :49:05.957912 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:05.967419 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:05.983925 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f771520d1887c2d7d2db
2014-12-18 15 :49:06.182351 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :49:06.193314 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :49:06.209336 [INFO] redis: Connecting to Redis at 127.0.0.1...
5492f772520d1887c5b32881

작업을 실행하고 결과를 즉시 반환하는 대신 mrq-run 해당 작업을 fetches 라는 대기열에 추가하고 해당 ID를 인쇄했음을 알 수 있습니다.

이제 mrq-dashboard & 사용하여 MRQ의 dasbhoard를 시작하고 localhost:5555에서 새로 생성된 대기열과 작업을 확인하세요.

작업자가 대기열에서 제거할 준비가 되었습니다. mrq-worker 로 시작하고 대시보드에서 대기 중인 작업을 병렬로 실행하는 과정을 따라가세요.

$ mrq-worker fetches

2014-12-18 15 :52:57.362209 [INFO] Starting Gevent pool with 10 worker greenlets (+ report, logs, adminhttp)
2014-12-18 15 :52:57.388033 [INFO] redis: Connecting to Redis at 127.0.0.1...
2014-12-18 15 :52:57.389488 [DEBUG] mongodb_jobs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.390996 [DEBUG] mongodb_jobs: ... connected.
2014-12-18 15 :52:57.391336 [DEBUG] mongodb_logs: Connecting to MongoDB at 127.0.0.1:27017/mrq...
2014-12-18 15 :52:57.392430 [DEBUG] mongodb_logs: ... connected.
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567311 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.google.com'})
2014-12-18 15 :52:58.670492 [DEBUG] Job 5492f771520d1887bfdf4b0f success: 1.135268s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.567747 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.yahoo.com'})
2014-12-18 15 :53:01.897873 [DEBUG] Job 5492f771520d1887c2d7d2db success: 4.361895s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.568080 [DEBUG] Starting tasks.Fetch({u'url': u'http://www.wordpress.com'})
2014-12-18 15 :53:00.685727 [DEBUG] Job 5492f772520d1887c5b32881 success: 3.149119s total
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']
2014-12-18 15 :52:57.523329 [INFO] Fetching 1 jobs from ['fetches']