python利器官網 任務排程利器 Celery

2021-10-10 03:49:41 字數 1744 閱讀 7001

celery是python開發的分布式任務排程模組,今天抽空看了一下,果然介面簡單,開發容易,5分鐘就寫出了乙個非同步傳送郵件的服務。

celery本身不含訊息服務,它使用第三方訊息服務來傳遞任務,目前,celery支援的訊息服務有rabbitmq、redis甚至是資料庫,當然redis應該是最佳選擇。

安裝celery

用pip或easy_install安裝:

$ sudo pip install celery

或著:$ sudo easy_install celery

使用redis作為broker時,再安裝乙個celery-with-redis。

開始編寫tasks.py:

# tasks.py

import time

from celery import celery

celery = celery('tasks', broker='redis://localhost:6379/0')

@celery.task

def sendmail(mail):

print('sending mail to %s...' % mail['to'])

time.sleep(2.0)

print('mail sent.')

然後啟動celery處理任務:

$ celery -a tasks worker --loglevel=info

上面的命令列實際上啟動的是worker,如果要放到後台執行,可以扔給supervisor。

如何傳送任務?非常簡單:

>>> from tasks import sendmail

>>> sendmail.delay(dict(to='[email protected]'))

可以看到,celery的api設計真的非常簡單。

然後,在worker裡就可以看到任務處理的訊息:

[2013-08-27 19:20:23,363: warning/mainprocess] [email protected] ready.

[2013-08-27 19:20:23,367: info/mainprocess] consumer: connected to redis://localhost:6379/0.

[2013-08-27 19:20:45,618: info/mainprocess] got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b]

[2013-08-27 19:20:45,655: warning/poolworker-4] sending mail to [email protected]...

[2013-08-27 19:20:47,657: warning/poolworker-4] mail sent.

[2013-08-27 19:20:47,658: info/mainprocess] task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: none

celery預設設定就能滿足基本要求。worker以pool模式啟動,預設大小為cpu核心數量,預設序列化機制是pickle,但可以指定為json。由於python呼叫unix/linux程式實在太容易,所以,用celery作為非同步任務框架非常合適。

celery還有一些高階用法,比如把多個任務組合成乙個原子任務等,還有乙個完善的監控介面,以後有空再繼續研究。

python任務排程

coding utf 8 import sched import time 初始化sched模組的scheduler類 第乙個引數是乙個可以返回時間戳的函式,第二個引數可以在定時未到達之前阻塞。s sched.scheduler time.time,time.sleep enter四個引數分別為 間...

python任務排程例項分析

方法1 import sched,time import os s sched.scheduler time.time,time.sleep scheduler的兩個引數用法複雜,程式設計客棧可以不做任何更改 def playmusic x os.system x def jobtodo tmlis...

牛客網考研機試題集合 任務排程

考點 拓撲排序 注意 字串的編號如何確定?每個字串後面的數字表示編號嗎?一定是task?includeusing namespace std const int maxsize 1001 struct node mapmp 結點名稱與結點的對映 vectorv 有向圖的鄰接鍊錶 vectorvs 儲...