mapred.reduce.slowstart.completed.maps（map完成多少百分比時，開始shuffle）
當map執行慢，reduce執行很快時，如果不設定mapred.reduce.slowstart.completed.maps會使job的shuffle時間變的很長，map執行完很早就開始了reduce，導致reduce的slot一直處於被占用狀態,這個值是和「執行完的map數除以總map數」做判斷的，當後者大於等於設定的值時，開始reduce的shuffle。所以當map比reduce的執行時間多很多時，可以調整這個值（0.75,0.80,0.85及以上）
詳細過程解釋參考 部落格
hadoop 相關配置蒐集
1.hadoop多目錄掛載 配置放在 hadoop 2.7.1 etc hadoop hdfs site.xml 2.hdfs常用埠 引數描述 預設 配置檔案 例子fs.default.name namenode rpc互動埠 namenode web管理埠 50070 hdfs site.xml ...
hadoop配置相關前置修改
1.修改主機名稱 root centos vim etc sysconfig network 開啟檔案，修改以下內容並儲存 networking yes 使用網路 hostname centos 設定主機名稱 重啟後生效 然後去修改 etc sysconfig network script ifcf...
Hadoop的引數配置說明
hadoop.tmp.dir hadoop臨時目錄，預設值 tmp hadoop fs.default.name 設定hadoop預設檔案系統，uri的形式，需要指定namenode的主機名和埠 dfs.replication 預設是3 dfs.block.size 預設64m dfs.data.d...