高效能非同步爬蟲概述

同步呼叫：即提交乙個任務後就在原地等待任務結束，等到拿到任務的結果後再繼續下一行**，效率低下，呼叫乙個任務，就在原地等待任務結束拿到結果後才繼續往後執行。

好處：在伺服器端使用多執行緒（或多程序）的目的是讓每個連線都擁有獨立的執行緒（或程序），這樣任何乙個連線的阻塞都不會影響其他的連線。

缺點：在遇到要同時處理成百上千個的連線請求時，則無論多執行緒還是多程序都會嚴重佔據系統資源，降低系統對外界響應效率，而且執行緒與程序本身也更容易進入假死狀態。

好處：減少建立和銷毀執行緒的頻率，其維持一定合理數量的執行緒，讓空閒的執行緒重新承擔新的執行任務。可以很好的降低系統開銷。

缺點：當請求大大超過上限時，「池」構成的系統對外界的響應並不比沒有池的時候效果好多少。所以使用「池」必須考慮其面臨的響應規模，並根據響應規模調整「池」的大小

弊端：io阻塞，無論是多程序還是多執行緒，在遇到io阻塞時都會被作業系統強行剝奪走cpu的執行許可權，程式的執行效率因此就降低了下來。

優點：從應用程式級別檢測io阻塞然後切換到我們自己程式的其他任務執行，這樣把我們程式的io降到最低，我們的程式處於就緒態就會增多，以此來迷惑作業系統，作業系統便以為我們的程式是io比較少的程式，從而會盡可能多的分配cpu給我們，這樣也就達到了提公升程式執行效率的目的。

在python3.4之後版本。可以利用asyncio模組檢測io阻塞，並實現非同步io。

非同步io：發起乙個 io阻塞 操作，卻不用等它結束，你可以繼續做其他事情，當它結束時，會得到通知。

import asyncio

async
defexecute
(x):
print('number:', x)
coroutine = execute(1)
print('coroutine:', coroutine)
print('after calling execute')
loop = asyncio.get_event_loop()
loop.run_until_complete(coroutine)
print('after calling loop')
執行結果：
#環境安裝：pip install aiohttp
#使用該模組中的clientsession
#text()返回字串形式的響應資料
#read()返回的二進位制形式的響應資料
#json()返回的就是json物件
#注意：獲取響應資料操作之前一定要使用await進行手動掛起