之前測試過hbase的引數對效能影響，今天的測試主要針對寫吞吐量，通過對比不同客戶端的數量，以及插入量，來看看hbase寫的情況下，大概有多少每秒插入。
測試硬體：8vcore, 32g記憶體 ， 8臺機器， 5個nodemanager/region server ，大家可能知道每個map,reduce 預設1個 vcores，1g記憶體 很顯然，我一共40個vcores， 所以最多也只有39個map, reduce。
測試命令：
time hbase org.apache.hadoop.hbase.performanceevaluation --rows=1000000 sequentialwrite 50
客戶端資料量
執行時間
寫吞吐量
11000000
54s18000條/s
110000000
2m56s
58800條/s
1100000000
3m20s
78000條/s
10100000/client
1m24.625s
11904條/s
101000000/client
4m2.163s
41000條/s
1010000000/client
14m33.584s
113000條/s
5010000/client
3m29.969s
3292條/s
50100000/client
3m9.325s
26315條/s
501000000/client
13m50.013s
60240條/s
先說明一下，上面測試資料其實是不準確的，主要硬體限制，
performanceevaluation 預設每個客戶端為10個map，50個併發的話就是500個map，每次只能跑39個map，很顯然很多map處於pending狀態，如果有足夠好的硬體，結果會好很多。另外，performanceevaluation 是先隨機生成資料，再通過reduce來插入，所以整個時間還包含map的時候，並不單純是插入時間。
所以從上述結果來看，看不出來太多問題，但是也有驚喜，10個客戶端的情況下達到11w條/秒， 如果有足夠好的cpu，我相信即使併發增加，hbase的寫效能還是非常不錯的。
hbase自帶效能測試
1 順序寫 sequentialwrite 例如，預分割槽100 regions，100執行緒併發，順序寫1億條資料 hbase org.apache.hadoop.hbase.performanceevaluation nomapred rows 1000000 presplit 100 sequ...
hbase效能測試對比分析
資料庫讀寫效能分析 1 單機模擬集群測試 測試環境 由3臺伺服器組成的hadoop集群組成分布式檔案系統 由一台單獨的機器單機模擬hbase集群 由一台機器單機測試mysql 測試規模 50萬條記錄以上，單執行緒 多執行緒測試 測試結果 hbase mysql 單執行緒插入 100 條記錄 155 ...
HBase的效能優化和相關測試
hbase的寫效率還是很高的，但其隨機讀取效率並不高 可以採取一些優化措施來提高其效能，如 1.啟用lzo壓縮，見這裡 2.增大hbase.regionserver.handler.count數為100 3.增大hfile.block.cache.size為0.4，提高cache大小 4.增大hba...