116 python高階 程序池Pool

2021-09-26 07:24:59 字數 2836 閱讀 4562

當需要建立的子程序數量不多時,可以直接利用multiprocessing中的process動態成生多個程序,但如果是上百甚至上千個目標,手動的去建立程序的工作量巨大,此時就可以用到multiprocessing模組提供的pool方法。

初始化pool時,可以指定乙個最大程序數,當有新的請求提交到pool中時,如果池還沒有滿,那麼就會建立乙個新的程序用來執行該請求;但如果池中的程序數已經達到指定的最大值,那麼該請求就會等待,直到池中有程序結束,才會建立新的程序來執行,請看下面的例項:

from multiprocessing import pool

import os,time,random

defworker

(msg)

: t_start = time.time(

)print

("%s開始執行,程序號為%d"

%(msg,os.getpid())

)#random.random()隨機生成0~1之間的浮點數

time.sleep(random.random()*

2) t_stop = time.time(

)print

(msg,

"執行完畢,耗時%0.2f"

%(t_stop-t_start)

)po=pool(3)

#定義乙個程序池,最大程序數3

for i in

range(0

,10):

#每次迴圈將會用空閒出來的子程序去呼叫目標

(i,)

)print

("----start----"

)po.close(

)#關閉程序池,關閉後po不再接收新的請求

po.join(

)#等待po中所有子程序執行完成,必須放在close語句之後

print

("-----end-----"

)

執行結果:

----start----

0開始執行,程序號為21466

1開始執行,程序號為21468

2開始執行,程序號為21467

0 執行完畢,耗時1.01

3開始執行,程序號為21466

2 執行完畢,耗時1.24

4開始執行,程序號為21467

3 執行完畢,耗時0.56

5開始執行,程序號為21466

1 執行完畢,耗時1.68

6開始執行,程序號為21468

4 執行完畢,耗時0.67

7開始執行,程序號為21467

5 執行完畢,耗時0.83

8開始執行,程序號為21466

6 執行完畢,耗時0.75

9開始執行,程序號為21468

7 執行完畢,耗時1.03

8 執行完畢,耗時1.05

9 執行完畢,耗時1.69

-----end-----

multiprocessing.pool常用函式解析:

close():關閉pool,使其不再接受新的任務;

terminate():不管任務是否完成,立即終止;

join():主程序阻塞,等待子程序的退出, 必須在close或terminate之後使用;

from multiprocessing import pool

import os,time,random

defworker

(msg)

: t_start = time.time(

)print

("%s開始執行,程序號為%d"

%(msg,os.getpid())

)#random.random()隨機生成0~1之間的浮點數

time.sleep(random.random()*

2) t_stop = time.time(

)print

(msg,

"執行完畢,耗時%0.2f"

%(t_stop-t_start)

)po=pool(3)

#定義乙個程序池,最大程序數3

for i in

range(0

,10):

po.(worker,

(i,)

)print

("----start----"

)po.close(

)#關閉程序池,關閉後po不再接收新的請求

po.join(

)#等待po中所有子程序執行完成,必須放在close語句之後

print

("-----end-----"

)

執行結果:

0開始執行,程序號為21532

0 執行完畢,耗時1.91

1開始執行,程序號為21534

1 執行完畢,耗時1.72

2開始執行,程序號為21533

2 執行完畢,耗時0.50

3開始執行,程序號為21532

3 執行完畢,耗時1.27

4開始執行,程序號為21534

4 執行完畢,耗時1.05

5開始執行,程序號為21533

5 執行完畢,耗時1.60

6開始執行,程序號為21532

6 執行完畢,耗時0.25

7開始執行,程序號為21534

7 執行完畢,耗時0.63

8開始執行,程序號為21533

8 執行完畢,耗時1.21

9開始執行,程序號為21532

9 執行完畢,耗時0.60

----start----

-----end-----

116 python日期格式化操作

1.將字串的時間轉換為時間戳 方法 a 2013 10 10 23 40 00 將其轉換為時間陣列 import time timearray time.strptime a,y m d h m s 轉換為時間戳 timestamp int time.mktime timearray timesta...

python 多程序 高階 程序池

如果需要啟動大量的子程序,使用程序池批量建立子程序的方式更加常見,因為當被操作對物件數目不大時,可以直接利用multiprocessing中的process動態生成多個程序,如果數量大,此時就應該使用pool。pool 可以提供指定數量的程序供使用者呼叫,預設大小是cpu的核數。當有新的請求提交到p...

程序池高階

程序池 def wahaha time.sleep 1 print os.getpid return true if name main p pool 5 cpu的個數 或者 1 ret l for i in range 20 async 非同步的 for ret in ret l print re...