通過改善ifile閱讀器的效能 ifile reader，進而可改善隨機處理程式並減少儲備空間，達到mapreduce的配置最佳實踐要求。而mapreduce shuffle的處理程式和ifile閱讀器的使用通常呼叫本機linux的hadoop本機庫。
首先改善ifile閱讀器的效能要求啟用ifile預讀可提高合併操作的效能。要為mrv1或yarn啟用此功能，請設定mapreduce.ifile.readahead 為 true（預設）。要進一步調整效能，請調整值mapreduce.ifile.readahead.bytes。預設值為4mb。
而改善隨機處理程式具有以下要求：1.您可以通過啟用shuffle readahead來改進mapreduce shuffle處理程式的效能。
這會導致tasktracker或節點管理器在通過套接字將其傳送到reducer之前預讀取地輸出。
2.要為yarn啟用此功能，請設定 mapreduce.shuffle.manage.os.cache 為 true （預設）。
要進一步調整效能，請調整值mapreduce.shuffle.readahead.bytes。預設值為4 mb。
3.要為mapreduce啟用此功能，請設定 mapred.tasktracker.shuffle.fadvise 為 true （預設）。
要進一步調整效能，請調整值mapred.tasktracker.shuffle.readahead.bytes。預設值為4 mb。
空間儲備的關鍵在於：預設情況下 ext3 和 ext4 檔案系統保留5％的空間供root使用者使用。這個保留空間算作 非dfs已使用。保留塊計數是 ext3/ext4保留的檔案系統塊。塊大小是以位元組為單位的大小。
要檢視保留空間，請使用tune2fs 命令：# tune2fs -l /dev/sde1 | egrep "block size:|reserved block count"reserved block count: 36628312block size: 4096翻譯為：
＃tune2fs -l / dev / sde1 | egrep「塊大小：|預留塊數」
保留塊數：36628312塊大小：4096
CDH集群安裝配置（四） mysql 的安裝
安裝mysql，並且建立相關的表 只需要在chd1上面安裝而且需要root許可權 1.1 rpm qa grep mariadb mariadb libs 5.5.41 2 el7 0.x86 64 rpm e nodeps mariadb libs 5.5.41 2.el7 0.x86 64 yu...
CDH集群安裝 二 環境預配置
toc 在安裝cdh前的環境配置介紹 使用ssh keygen生成金鑰，然後使用ssh copy id分發到各個節點 先通過setenforce 0關閉當前執行的selinux，永久關閉 vi etc selinux config 將selinux enforcing 改為 selinux disa...
Flink集群之Flink集群配置優化項
jobmanager rpc通訊位址，一般需要配置指定的jobmanager的ip位址，預設的localhost不適合多節點集群模式 jobmanager的jvm堆記憶體，預設為1024m，可以根據集群規模適當增加 taskmanager的jvm堆記憶體，預設為1024m，可以根據資料計算規模以及狀...