Hbase基準測試

1.hbase讀寫測試

1.1hbase順序寫

測試原理

hbase自帶org.apache.hadoop.hbase.performanceevaluation--nomapred工具

3臺伺服器-hadoop集群模式：hadoop版本2.7.2  hbase1.3.1

hadoop命令配置環境變數
hbase命令配置環境變數
配置1臺 ：記憶體16g、cpu4核、寬頻1mbps、ssd500g
配置2臺 ：記憶體4g、cpu2核、寬頻1mbps、ssd500g

預分割槽100regions,100執行緒併發，順序寫1億條資料

hbase pe預設使用mapreduce作業進行讀寫掃瞄資料，如果使用多執行緒/客戶端併發來代替mapreduce作業，需要加上選項--nomapred

設定每個客戶端處理多少行記錄，使用引數--rows,列如--rows=1000000,即每個執行緒/客戶端處理1000000行記錄

--presplit引數，只有在寫資料時使用，讀表時使用引數--presplit,會導致之前寫的表資料被刪除

最後乙個引數100即為100個執行緒/客戶端併發。

測試步驟

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 --presplit=100 sequentialwrite 100

測試方案

預分割槽100regions,100執行緒併發，順序寫1億條資料

隨機寫：randomwrite

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 --presplit=100 randomwrite 100

測試方案

預分割槽100regions,100執行緒併發，順序讀1億條資料

順序讀：sequentialread

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 sequentialread 100

測試方案

預分割槽100regions,100執行緒併發，隨機讀1億條資料

隨機讀：randomread

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100000 randomread 100

操作步驟

掃瞄：scan\\ scanrange10\\ scanrange100\\ scanrange1000\\scanrange10000

hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 scan 100

​hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100000 scanrange10 100
​hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=10000 scanrange100 100
​hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000 scanrange1000 100
​hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100 scanrange10000 100

mysql基準測試例項 mysql基準測試

toc 單位時間內所處理的事務數 tps 單位時間內所處理的查詢數 qps 響應時間 平均響應時間,最小響應時間,最大響應時間,各時間所佔百分比 併發量 同時處理的查詢請求的數量 併發量不等於連線數 正在工作的併發的操作或同時工作的數量 工具 mysqlslap mysql自帶的 特點 可以模擬伺服...

mysql 基準測試指令碼 MySQL基準測試

常見指標 tps transaction per second qps query per second 響應時間 併發量步驟 計畫和設計基準測試 準備基準測試及資料收集指令碼 容易忽略的問題 使用生產環境資料時只使用了部分資料 在多使用者場景中，只做單使用者的測試 在單伺服器上測試分布式應用 反覆...

mysql 基準測試報告 Mysql基準測試

一 基準測試 基準測試的作用 了解當前系統的效能，建立mysql伺服器效能基準線 為之後的效能優化提供乙個超始線 模擬比當前系統更高的負載，找出系統的擴充套件瓶頸，為系統擴充套件與優化提供參考條件 測試不同的硬體 軟體和作業系統配置 證明新的硬體裝置是否配置正確和是否是最優配置 基準測試可以分為整合...