Hadoop的引數配置說明

hadoop.tmp.dir

hadoop臨時目錄，預設值/tmp/hadoop-$

fs.default.name

設定hadoop預設檔案系統，uri的形式，需要指定namenode的主機名和埠

dfs.replication

預設是3

dfs.block.size

預設64m

dfs.data.dir

datanode的本地檔案系統目錄，存放hdfs塊檔案

dfs.name.dir

namenode的本地檔案系統目錄，存放hdfs的metadata

dfs.df.interval

磁碟使用統計重新整理時間間隔，單位毫秒

dfs.client.block.write.retries

寫資料到datanode的重試次數

dfs.heartbeat.interval

datanode心跳時間間隔，單位秒

mapred.job.tracker

jobtracker的ip位址、埠

mapred.system.dir

hdfs目錄，儲存共享的mapreduce系統檔案

mapred.local.dir

tasktracker本地檔案系統目錄，儲存臨時資料檔案

mapred.tasktracker.map.tasks.maximum

tasktracker上同時執行的map的最大數量

mapred.tasktracker.reduce.tasks.maximum

tasktracker上同時執行的reduce的最大數量

hadoop 配置相關引數

mapred.reduce.slowstart.completed.maps map完成多少百分比時，開始shuffle 當map執行慢，reduce執行很快時，如果不設定mapred.reduce.slowstart.completed.maps會使job的shuffle時間變的很長，map執行完...

hadoop配置中的重要引數

引數 取值 備註fs.default.name namenode的uri。hdfs 主機名 mapred.job.tracker jobtracker的主機 或者ip 和埠 主機 埠 dfs.name.dir namenode持久儲存名字空間及事務日誌的本地檔案系統路徑 當這個值是乙個逗號分割的目錄...

Nginx配置引數說明

檢測nginx配置檔案是否正確 usr local nginx sbin nginx t c nginx.conf c 配置檔案路徑 g set global directives.version 0.7.4 t 檢測檔案是否正確不執行 v print version.v print nginx v...