cdh5支援的大多數linux系統都支援乙個叫做transparent hugepage compaction特性。該特性會導致hadoop的工作負載和效能會嚴重降低
症狀：top或其他系統監控工具顯示了system cpu這個類別的cpu處理耗用很大。如果system cpu使用》=30%則你的系統可能會遇到這個問題
怎麼做：
注意:接下來的指導中defrag_file_pathname的路徑取決於你所用的系統：1.要確認transparent hugepage compaction是否開啟，請通過以下命令檢視：•red hat/centos: /sys/kernel/mm/redhat_transparent_hugepage/defrag
•ubuntu/debian, oel, sles: /sys/kernel/mm/transparent_hugepage/defrag
$ cat defrag
· [always] never 表示transparent hugepage compaction被啟用
· always [never] 表示transparent hugepage compaction未被啟用
2.要關閉 transparent hugepage compaction,將一下命令加入/etc/rc.local:
echo never > defrag
你也可以直接在shell中關閉transparent hugepage compaction，不過要注意重啟以後就失效了
使用root許可權臨時關閉transparent hugepage compaction
# echo'never'> defrag
使用sudo許可權臨時關閉transparent hugepage compaction
$ sudo sh -c"echo 'never' > defrag"
CDH集群的配置優化須知
通過改善ifile閱讀器的效能 ifile reader，進而可改善隨機處理程式並減少儲備空間，達到mapreduce的配置最佳實踐要求。而mapreduce shuffle的處理程式和ifile閱讀器的使用通常呼叫本機linux的hadoop本機庫。首先改善ifile閱讀器的效能要求啟用ifile...
cdh 簡介 CDH 1 CDH簡介
1 apache hadoop 不足之處 版本管理混亂 部署過程繁瑣 公升級過程複雜 相容性差 安全性低 2 hadoop 發行版 apache hadoop cloudera s distribution including apache hadoop cdh hortonworks data p...
cdh 簡介 CDH 1 CDH簡介
1 apache hadoop 不足之處 版本管理混亂 部署過程繁瑣 公升級過程複雜 相容性差 安全性低 2 hadoop 發行版 apache hadoop cloudera s distribution including apache hadoop cdh hortonworks data p...