celery是python開發的分布式任務排程模組,今天抽空看了一下,果然介面簡單,開發容易,5分鐘就寫出了乙個非同步傳送郵件的服務。
celery本身不含訊息服務,它使用第三方訊息服務來傳遞任務,目前,celery支援的訊息服務有rabbitmq、redis甚至是資料庫,當然redis應該是最佳選擇。
安裝celery
用pip或easy_install安裝:
$ sudo pip install celery
或著:$ sudo easy_install celery
使用redis作為broker時,再安裝乙個celery-with-redis。
開始編寫tasks.py:
# tasks.py
import time
from celery import celery
celery = celery('tasks', broker='redis://localhost:6379/0')
@celery.task
def sendmail(mail):
print('sending mail to %s...' % mail['to'])
time.sleep(2.0)
print('mail sent.')
然後啟動celery處理任務:
$ celery -a tasks worker --loglevel=info
上面的命令列實際上啟動的是worker,如果要放到後台執行,可以扔給supervisor。
如何傳送任務?非常簡單:
>>> from tasks import sendmail
>>> sendmail.delay(dict(to='[email protected]'))
可以看到,celery的api設計真的非常簡單。
然後,在worker裡就可以看到任務處理的訊息:
[2013-08-27 19:20:23,363: warning/mainprocess] [email protected] ready.
[2013-08-27 19:20:23,367: info/mainprocess] consumer: connected to redis://localhost:6379/0.
[2013-08-27 19:20:45,618: info/mainprocess] got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b]
[2013-08-27 19:20:45,655: warning/poolworker-4] sending mail to [email protected]...
[2013-08-27 19:20:47,657: warning/poolworker-4] mail sent.
[2013-08-27 19:20:47,658: info/mainprocess] task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: none
celery預設設定就能滿足基本要求。worker以pool模式啟動,預設大小為cpu核心數量,預設序列化機制是pickle,但可以指定為json。由於python呼叫unix/linux程式實在太容易,所以,用celery作為非同步任務框架非常合適。
celery還有一些高階用法,比如把多個任務組合成乙個原子任務等,還有乙個完善的監控介面,以後有空再繼續研究。
python任務排程
coding utf 8 import sched import time 初始化sched模組的scheduler類 第乙個引數是乙個可以返回時間戳的函式,第二個引數可以在定時未到達之前阻塞。s sched.scheduler time.time,time.sleep enter四個引數分別為 間...
python任務排程例項分析
方法1 import sched,time import os s sched.scheduler time.time,time.sleep scheduler的兩個引數用法複雜,程式設計客棧可以不做任何更改 def playmusic x os.system x def jobtodo tmlis...
牛客網考研機試題集合 任務排程
考點 拓撲排序 注意 字串的編號如何確定?每個字串後面的數字表示編號嗎?一定是task?includeusing namespace std const int maxsize 1001 struct node mapmp 結點名稱與結點的對映 vectorv 有向圖的鄰接鍊錶 vectorvs 儲...