根據日誌估算系統QPS

背景：線上有乙個推薦服務，日誌量比較大，想確認下是不是qps過高

問題：如何根據日誌檢視乙個服務的qps

tail -f ***.log，可以發現日誌格式如下：

[8708-10 14:51:44 638 info ] [async task worker[61]] recommend.components.keywordservice[87] - cateid=252 pagenum=1

[8708-10 14:51:44 666 info ] [async task worker[62]] recommend.components.keywordservice[87] - cateid=42205

[8708-10 14:51:44 673 info ] [async task worker[0]] recommend.components.keywordservice[87] - cateid=29 pagenum=2

[8708-10 14:51:44 677 info ] [async task worker[1]] recommend.components.keywordservice[87] - cateid=252 pagenum=3

日誌規範中，有一列「請求時間」，可以通過這個「請求時間」估算出服務的qps，步驟如下：

（1）先找一條使得乙個請求有且只有一行的日誌，常用工具是grep，此例需要grep recommend.components.keywordservice，得出的結果，乙個請求對應一行日誌

（2）取出時間這一列，常用的工具是cut或者awk，這裡介紹一下cut（大家到linux上去man一下）

-d 引數，按照某個字元分隔

-f 引數，取出分隔後的第幾列

這個例子中，按照「空格」分隔後，時間在第二列

進行1，2兩步操作後，得到的結果為

14:51:44

14:51:45

14:51:46

（3）對結果進行去重，取計數，常用的工具是uniq，引數是-c

故，整個shell命令是：

命令：tail -f ***.log | grep recommend.components.keywordservice | cut -d' ' -f2 | cut -d':' -f3 | uniq -c

說明：取增量 | 乙個請求取一行 | 把時間擷取出來 | 把秒數擷取出來 | 去重取計數

得到的結果是

136 43

126 44

115 45

131 46

132 47

可以看到，14:51:43，共有136條日誌

44，有126條日誌

45，有115條日誌

...結論，這個模組，單機的qps在120-130左右

需要注意的是，cut的目的是將請求日誌時間戳中的「秒」取出來，所以隨著請求日誌格式的不同，cut的寫法也要隨機應變~

原文：