•spark效能測試基準程式benchmark
–•spark效能測試與分析視覺化工具
–1.效能測試，觀察系統效能特性
2.資源（cpu、memory、disk、net）利用分析，尋找資源瓶頸，提高資源利用
3.系統架構、**分析，發現資源利用關鍵所在
4.**、架構、基礎設施調優，優化、平衡資源利用
5.效能測試，觀察系統效能特性
資源分析，發現第乙個stage時間特別長，耗時長達14s，cpu和網路通訊都有一定開銷，不符合應用**邏輯。
•開啟spark作業log，分析這段時間的spark執行狀況。
•發現spark在任務初始化載入應用**的時候，每個executor都載入一次應用**，當時每台伺服器最多可啟動48個executor，每個應用**包17m大小，導致載入開銷巨大。
•優化方案：executor載入應用程式包啟用本地檔案快取模式。[spark-2713]
•優化效果：stage1執行時間從14s下降到不到1s。
.資源分析，發現stage2只有一台伺服器上的cpu被使用，其他伺服器cpu完全空閒。
•開啟spark作業log，分析這段時間的spark執行狀況。
•通過原始碼發現，spark driver在任務分配的時候，僅針對當前已經向driver註冊過的executor進行任務分配，而executor的註冊是有先後的，如果第乙個job的任務數比較少，就會出現第乙個worker的executor註冊的時候將所有任務領走的情況。
.在做log分析的時候，發現在executor領取任務的時候，在最後總會有一兩個executor領取的任務是非local的。比如，最後兩個任務a[2,3,1]和b[1,3,4]，executor[1][2]，當executor[1]領取了任務a，則executor[2]領到的任務b就是非local的。
.解決方案：對任務進行偏序排序後再分配[spark-2193]
.資源分析，發現伺服器大量cpu資源消耗為sys型別
.調查發現，是因為某些linux版本的transparent hugepage預設為enable狀態導致
.優化方案：關閉os的transparenthugepages
–echo never > /sys/kernel/mm/transparent_hugepage/enabled
–echo never > /sys/kernel/mm/ transparent_hugepage/defrag
•資源分析，發現大量作業時間消耗在網路傳輸上。
•解決方案：網絡卡頻寬從1g公升級到10g
Mysql效能測試工具
一 mysqlslap測試 mysqlslap是mysql自帶的乙個測試工具。具體的用法可以通過man獲得。比較常用的options解釋如下 concurrency 代表併發數量，多個可以用逗號隔開，當然你也可以用自己的分隔符隔開，這個時候要用到 delimiter開關。engines 代表要測試的...
效能測試工具原理
廣義的講，可以把效能測試過程中使用到的所有工具都稱為效能測試工具，效能測試工具分為兩大類，服務端效能測試工具和前端效能測試工具 服務端效能測試工具需要支援產生壓力和負載，錄製和生成測試指令碼，設定和部署場景，產生併發使用者和向系統施加持續的壓力 而前端效能測試工具則不需要關係系統的壓力和負載，只需要...
mysqlslap 效能測試工具
mysqlslap 效能測試工具 常用引數 concurrency 代表併發數量，多個可以用逗號隔開。例如 concurrency 50,200,500 engines 代表要測試的引擎，可以有多個，用分隔符隔開。例如 engines myisam,innodb,memory iterations ...