1) 順序寫:sequentialwrite
例如,預分割槽100 regions,100執行緒併發,順序寫1億條資料:
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 --presplit=100 sequentialwrite 100
注意事項:
a. hbase pe預設使用mapreduce作業進行讀寫掃瞄資料,如果使用多執行緒/客戶端併發來代替mapreduce作業,需要加上選項 --nomapred
b. 設定每個客戶端處理多少行記錄,使用引數 --rows,例如 --rows=1000000,即每個執行緒/客戶端處理1000000行記錄;
c. --presplit引數,只有在寫資料時使用,讀表時使用引數--presplit,會導致之前寫的表資料被刪除;
d. 最後乙個引數100即為100個執行緒/客戶端併發。
2) 隨機寫:randomwrite
例如,隨機寫1億條資料:
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 --presplit=100 randomwrite 100
讀操作1) 順序讀:sequentialread
例如,順序讀1億條資料:
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 sequentialread 100
2) 隨機讀:
例如,隨機讀1億條資料:
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100000 randomread 100
掃瞄操作
掃瞄:scan\\ scanrange10\\ scanrange100\\ scanrange1000\\scanrange10000
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000000 scan 100
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100000 scanrange10 100
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=10000 scanrange100 100
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=1000 scanrange1000 100
hbase org.apache.hadoop.hbase.performanceevaluation--nomapred --rows=100 scanrange10000 100
HBASE效能測試
之前測試過hbase的引數對效能影響,今天的測試主要針對寫吞吐量,通過對比不同客戶端的數量,以及插入量,來看看hbase寫的情況下,大概有多少每秒插入。測試硬體 8vcore,32g記憶體 8臺機器,5個nodemanager region server 大家可能知道每個map,reduce 預設1...
hbase效能測試對比分析
資料庫讀寫效能分析 1 單機模擬集群測試 測試環境 由3臺伺服器組成的hadoop集群組成分布式檔案系統 由一台單獨的機器單機模擬hbase集群 由一台機器單機測試mysql 測試規模 50萬條記錄以上,單執行緒 多執行緒測試 測試結果 hbase mysql 單執行緒插入 100 條記錄 155 ...
HBase的效能優化和相關測試
hbase的寫效率還是很高的,但其隨機讀取效率並不高 可以採取一些優化措施來提高其效能,如 1.啟用lzo壓縮,見這裡 2.增大hbase.regionserver.handler.count數為100 3.增大hfile.block.cache.size為0.4,提高cache大小 4.增大hba...