python學習 協程

2021-07-15 06:17:37 字數 3198 閱讀 7247

在學習非同步io模型前,我們先來了解協程。

協程,又稱微執行緒,纖程。英文名coroutine。

協程的概念很早就提出來了,但直到最近幾年才在某些語言(如lua)中得到廣泛應用。

子程式,或者稱為函式,在所有語言中都是層級呼叫,比如a呼叫b,b在執行過程中又呼叫了c,c執行完畢返回,b執行完畢返回,最後是a執行完畢。

所以子程式呼叫是通過棧實現的,乙個執行緒就是執行乙個子程式。

子程式呼叫總是乙個入口,一次返回,呼叫順序是明確的。而協程的呼叫和子程式不同。

協程看上去也是子程式,但執行過程中,在子程式內部可中斷,然後轉而執行別的子程式,在適當的時候再返回來接著執行。

注意,在乙個子程式中中斷,去執行其他子程式,不是函式呼叫,有點類似cpu的中斷。比如子程式a、b:

defa():

print('1')

print('2')

print('3')defb():

print('x')

print('y')

print('z')

假設由協程執行,在執行a的過程中,可以隨時中斷,去執行b,b也可能在執行過程中中斷再去執行a,結果可能是:

12x

y3z

但是在a中是沒有呼叫b的,所以協程的呼叫比函式呼叫理解起來要難一些。

看起來a、b的執行有點像多執行緒,但協程的特點在於是乙個執行緒執行,那和多執行緒比,協程有何優勢?

最大的優勢就是協程極高的執行效率。因為子程式切換不是執行緒切換,而是由程式自身控制,因此,沒有執行緒切換的開銷,和多執行緒比,執行緒數量越多,協程的效能優勢就越明顯。

第二大優勢就是不需要多執行緒的鎖機制,因為只有乙個執行緒,也不存在同時寫變數衝突,在協程中控制共享資源不加鎖,只需要判斷狀態就好了,所以執行效率比多執行緒高很多。

因為協程是乙個執行緒執行,那怎麼利用多核cpu呢?最簡單的方法是多程序+協程,既充分利用多核,又充分發揮協程的高效率,可獲得極高的效能。

python對協程的支援是通過generator實現的。

在generator中,我們不但可以通過for迴圈來迭代,還可以不斷呼叫next()函式獲取由yield語句返回的下乙個值。

但是python的yield不但可以返回乙個值,它還可以接收呼叫者發出的引數。

來看例子:

傳統的生產者-消費者模型是乙個執行緒寫訊息,乙個執行緒取訊息,通過鎖機制控制佇列和等待,但一不小心就可能死鎖。

如果改用協程,生產者生產訊息後,直接通過yield跳轉到消費者開始執行,待消費者執行完畢後,切換回生產者繼續生產,效率極高:

defconsumer():

r = ''whiletrue:

n =yieldrifnotn:returnprint('[consumer] consuming %s...' % n)

r = '200 ok'defproduce(c):

c.send(none)

n = 0whilen < 5:

n = n + 1

print('[producer] producing %s...' % n)

r = c.send(n)

print('[producer] consumer return: %s' % r)

c.close()

c = consumer()

produce(c)

執行結果:

[producer] producing 1...

[consumer] consuming 1...

[producer] consumer

return: 200 ok

[producer] producing 2...

[consumer] consuming 2...

[producer] consumer

return: 200 ok

[producer] producing 3...

[consumer] consuming 3...

[producer] consumer

return: 200 ok

[producer] producing 4...

[consumer] consuming 4...

[producer] consumer

return: 200 ok

[producer] producing 5...

[consumer] consuming 5...

[producer] consumer

return: 200 ok

注意到consumer函式是乙個generator,把乙個consumer傳入produce後:

首先呼叫c.send(none)啟動生成器;

然後,一旦生產了東西,通過c.send(n)切換到consumer執行;

consumer通過yield拿到訊息,處理,又通過yield把結果傳回;

produce拿到consumer處理的結果,繼續生產下一條訊息;

produce決定不生產了,通過c.close()關閉consumer,整個過程結束。

整個流程無鎖,由乙個執行緒執行,produceconsumer協作完成任務,所以稱為「協程」,而非執行緒的搶占式多工。

最後套用donald knuth的一句話總結協程的特點:

「子程式就是協程的一種特例。」

Python學習之協程

我們都知道執行緒間的任務切換是由作業系統來控制的,而協程的出現,就是為了減少作業系統的開銷,由協程來自己控制任務的切換 協程本質上就是執行緒。既然能夠切換任務,所以執行緒有兩個最基本的功能 一是儲存狀態 二是任務切換 8.8.1 協程的特點 優點 缺點 特點 8.8.2 greenlet 使用gre...

python協程與非同步協程

在前面幾個部落格中我們一一對應解決了消費者消費的速度跟不上生產者,浪費我們大量的時間去等待的問題,在這裡,針對業務邏輯比較耗時間的問題,我們還有除了多程序之外更優的解決方式,那就是協程和非同步協程。在引入這個概念之前我們先看 看這個圖 從這個我們可以看出來,假如來了9個任務,即使我們開了多程序,在業...

python協程使用 協程的案例

概念 使用者層面在乙個執行緒中進行多工切換的機制,比執行緒更加輕量級 實現併發量更大 協程的使用 使用第三方庫 gevent gevent 是乙個基於協程的 python 網路庫,在遇到 io 阻塞時,程式會自動進行切換,可以讓我們用同步的放肆寫非同步 io 協程的使用 from gevent im...