第二章：集群引數的配置
1. zookeeper.session.timeout（預設3分鐘）
zk的超期引數，預設配置為3分鐘，在生產環境上建議減小這個值在1分鐘或更小。
設定原則：這個值越小，當rs故障時hmaster獲知越快，hlog**和region 部署越快，集群恢復時間越短。
但是，設定這個值得原則是留足夠的時間進行gc**，否則會導致頻繁的rs當機。
2、hbase.regionserver.handler.count（預設10）
設定原則：
對於大負載的put（達到了m範圍）或是大範圍的scan操作，handler數目不易過大，易造成oom。
對於小負載的put或是get，delete等操作，handler數要適當調大。
根據上面的原則，要看我們的業務的情況來設定。
3、hbase_heapsize 大小設定
設定原則：
a. hbase_heapsize 包括三部分內容：memstoresize 40%（預設） blockcache 20% 以及storeindex（這需要根據硬碟容量算出）。
b. gc**的時間不要超過zk session的時間。
algorithm % remaining encoding decoding
gzip 13.4% 21 mb/s 118 mb/s
lzo 20.5% 135 mb/s 410 mb/s
根據你產品的情況選取這裡壓縮演算法或是使用其他壓縮演算法。
5.hbase.hregion.max.filesize 預設256m
關於region size的設定，參考另外一篇部落格。
設定原則：
a、region server 上活躍的region不能太多100個左右，且也不要太少會導致併發度不大。
b、在region設定比較大時，例如每個region達到100g時，需要手動進行對熱點region進行split或是對於不經常活躍的進行merge
6.hbase.hregion.memstore.block.multiplier 預設2
設定原則：
如果記憶體足夠的，可以適當設定大這個值，當memstoresize 大於 flush size limit*multiplier時會阻塞客戶的put操作。如果出現這種情況多數原因是由於compaction佇列不能夠及時處理
導致的。
7.hbase.hstore.blockingstorefiles 預設7
設定原則：
這個值設定比較大，會增加客戶端的負載處理能力，但是如果你的伺服器一直處於乙個高的水平，那說明你的機器已經達到效能瓶頸，需要其他方式解決
調優 Nginx效能調優
一.nginx優化配置 1.主配置檔案優化 注 部分配置詳解 worker processes 8 nginx程序數，建議按照cpu數目來指定，一般為它的倍數。worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100...
Spark效能調優 JVM調優
通過一張圖讓你明白以下四個問題 1.jvm gc機制，堆記憶體的組成 2.spark的調優為什麼會和jvm的調優會有關聯？因為scala也是基於jvm執行的語言 3.spark中oom產生的原因 4.如何在jvm這個層面上來對spark進行調優 補充 spark程式執行時 jvm堆記憶體分配比例 r...
七 Spark效能調優 Shuffle 調優
目錄 一 調節 map 端緩衝區大小 二 調節 reduce 端拉取資料緩衝區大小 三 調節 reduce 端拉取資料重試次數 四 調節 reduce 端拉取資料等待間隔 五 調節 sortshuffle 排序操作閾值 val conf new sparkconf set spark.shuffle...