使用 Python 標準庫進行效能測試

在 python 標準庫裡面有兩個模組可以用來做效能測試。

1. 乙個是 profile，它是乙個純 python 的實現，所以會慢一些，如果你需要對模組進行拓展，那麼這個模組比較合適。

2. 第二個是 cprofile，從名字就可以看出這是乙個 c 語言的實現版，官方推薦在大多數情況下使用。

這兩者的介面和資料的輸出格式是完全一樣的，你可以在這兩者之間自由的切換，所以下面我們僅以 cprofile 為例進行介紹。

在 cprofile 中，進行效能測試十分簡單，只需呼叫run方法，並將需要測試的函式及引數傳遞給它即可，下面我們對fib(n)進行效能測試。

import cprofile
deffib
(n):
if n == 0:
return
0if n == 1:
return
1return fib(n-1) + fib(n-2)
if __name__ == '__main__':
cprofile.run('fib(30)')

效能測試的結果如下圖

可以看到一共進行了 2692539 次函式呼叫，共耗時 0.815 秒。下面每一行對應於乙個函式的呼叫情況，其中：

1. ncalls, 函式總共呼叫次數；

2. tottime, 這個函式呼叫總共花費時間；

3. percall, 每個呼叫的平均花費時間；

4. cumtime, 總共累計花費時間；

5. percall, 每個呼叫的平均累計時間；

6. filename:lineno(function), 對應函式資訊。

所以從圖中可以明顯看到幾乎的耗時都在fib上，而且函式呼叫數過多，這主要是因為函式是遞迴呼叫的，並且會產生很多冗餘分支，所以程式需要進行優化。有兩種方法進行改進，一是快取fib(n)的資訊，不需要每次都進行計算；二是將程式改為迭代式。

而對函式值進行快取在 python 3 裡有乙個簡單的裝飾器叫做lru_cache，可以自動的幫你快取函式的值，而不需要自己手動儲存。

import functools
@functools.lru_cache(maxsize=none)
deffib
(n):
if n == 0:
return
0if n == 1:
return
1return fib(n-1) + fib(n-2)

執行結果如下：

可以看到，fib 函式只呼叫了 31 次，幾乎所有額外的呼叫都命中了快取，遠遠小於前面的呼叫次數，執行時間也得到了相當明顯的提公升。同時使用下面的迭代版程式也執行得非常快，這裡就不再展開。

def
fib(n):
prev, cur = 0, 1
if n == 0:
return prev
if n == 1:
return cur
count = 1
while count < n:
count += 1
prev, cur = cur, prev + cur
return cur

除了前面提到的 run 方法外，還有乙個叫做 runctx 的方法，允許提供一些上下文引數。例如前面的cprofile.run('fib(30)')可以改為cprofile.runctx('fib', globals(), )最後的執行結果是相同的。

最後，除了直接列印到命令列的方式，run 和 runctx 可以通過第二個引數傳遞檔名的方式將輸出結果寫入檔案。

cprofile 雖然可以對程式進行簡單的效能測試，但是當程式過大，呼叫函式很多的時候，就需要一些對測試結果進行過濾和排序的工具了，而 pstats 就是這樣的乙個工具。

# fib_profile.py
import cprofile
import pstats
for i in range(5):
cprofile.run('fib(1000)', 'fib_profile_{}'.format(i))
stats = pstats.stats('fib_profile_0')
for i in range(1, 5):
stats.add('fib_profile_{}'.format(i))
stats.strip_dirs()
stats.sort_stats('cumulative')
stats.print_stats('fib')

上面的程式首先寫入了多個測試結果，然後初始化了 stats，可以通過 stats 的 add 方法新增新的檔案，pstats 會自動的將結果聚合起來；然後 strip_dirs 將會移除檔名前面的路徑，只保留檔名；sort_stats 是對輸出結果進行排序，也就是在前面所說的那幾行裡進行選擇（具體的可參閱官方文件）；最後的 print_stats 對結果進行輸出，在這面可以對行進行過濾，比如上面的程式就只輸出了包含 fib 的行；實際輸出結果如下。

使用 Python 標準庫進行效能測試

如何使用Python標準庫進行效能測試

python使用asyncio內建庫進行非同步I O

Python標準庫shutil模組使用方法解析

使用 Python 標準庫進行效能測試

如何使用Python標準庫進行效能測試

python使用asyncio內建庫進行非同步I O

Python標準庫shutil模組使用方法解析

相關推薦