生產消費者模型是將消費者的充分處理完生產的資料,並將效率最大化。
生產者: 泛指產生資料的一方
消費者: 泛指處理資料的一方
1、案例:
食堂飯店是生產者
我們吃飯的人就是消費者
2、案例分析
他們之間有什麼問題
效率低 因為雙方的處理速度不同 乙個快乙個慢 則雙方需要相互等待
1.先將雙方解開耦合,讓不同的程序負責不同的任務
2.提供乙個共享的容器 來平衡雙方的能力,之所用程序佇列是因為佇列 可以在程序間共享
案例1:
from multiprocessing import process,queue
import requests
import re,os,time,random
# 生產者任務
def product(urls,q):
i = 0
for url in urls:
response = requests.get(url)
text = response.text
# 將生產完成的資料放入佇列中
time.sleep(random.random())
q.put(text)
i += 1
print(os.getpid(),"生產了第%s個資料" % i)
def customer(q):
i = 0
while true:
text = q.get()
time.sleep(random.random())
res = re.findall('src=//(.*?) width', text)
i += 1
print(" 第%s個任務獲取到%s個img" % (i,len(res)))
if __name__ == '__main__':
urls = [
"","",
"","",
]# 建立乙個雙方能共享的容器
q = queue()
# 生產者程序
p1 = process(target=product,args=(urls,q))
p1.start()
# 消費者程序
c = process(target=customer,args=(q,))
c.start()
問題: 消費不知道什麼時候結束
案例高階:
joinablequeue 繼承自queue 用法一致,
增加了join 和taskdone
join是個阻塞函式 會阻塞直到taskdone的呼叫次數等於 存入的元素個數 可以用於表示佇列任務處理完成 \
案例:
from multiprocessing import process,joinablequeue
import requests
import re,os,time,random
"""生產者 負責生產熱狗
消費者 負責吃熱狗
"""# 生產者任務
def product(q,name):
for i in range(5):
dog = "%s的熱狗%s" % (name,(i + 1))
time.sleep(random.random())
print("生產了",dog)
q.put(dog)
# 吃熱狗
def customer(q):
while true:
dog = q.get()
time.sleep(random.random())
print("消費了%s" % dog)
q.task_done() # 標記這個任務處理完成
if __name__ == '__main__':
# 建立乙個雙方能共享的容器
q = joinablequeue()
# 生產者程序
p1 = process(target=product,args=(q,"上海分店"))
p2 = process(target=product,args=(q,"北京分店"))
p1.start()
p2.start()
# 消費者程序
c = process(target=customer,args=(q,))
# c.daemon = true # 可以將消費者設定為守護程序 當主程序確認 任務全部完成時 可以隨著主程序一起結束
c.start()
p1.join()
p2.join() # **走到這裡意味著生產方完成
q.join() # 意味著佇列中的任務都處理完成了
# 結束所有任務
c.terminate() # 直接終止消費者程序
# 如何判定今天的熱狗真的吃完了
# 1.確定生成者任務完成
# 2.確定生出來的資料已經全部處理完成
redis 訊息佇列
mq 訊息佇列
常用來做流量削峰 保證服務不會因為高併發而崩潰
生產者消費者模型
1.生產者消費者問題 producer consumer 有限緩衝,多執行緒同步。生產者執行緒和消費者執行緒共享固定大小緩衝區。2.關鍵是保證生產者不會再緩衝區滿時加入資料,消費者不會在緩衝區空時消耗資料。3.解決辦法 讓生產者在緩衝區滿時休眠,等下次消費者消耗緩衝區中的資料的時候,生產者才能被喚醒...
生產者消費者模型
生產者與消費者 3,2,1 三種關係 生產者與消費者 互斥,同步 消費者與消費者 互斥 生產者與生產者 互斥 條件變數 int pthread cond destroy pthread cond t cond int pthread cond init pthread cond t restrict...
生產者消費者模型
當佇列滿時,生產者需要等待佇列有空間才能繼續往裡面放入商品,而在等待的期間內,生產者必須釋放對臨界資源 即佇列 的占用權。因為生產者如果不釋放對臨界資源的占用權,那麼消費者就無法消費佇列中的商品,就不會讓佇列有空間,那麼生產者就會一直無限等待下去。因此,一般情況下,當佇列滿時,會讓生產者交出對臨界資...