core-site.xml是全域性配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的區域性配置。hdfs埠
引數描述
預設配置檔案
例子值fs.default.name
namenode rpc互動埠
namenode web管理埠
50070
hdfs-site.xml
0.0.0.0:50070
dfs.datanode.address
datanode 控制埠
50010
hdfs-site.xml
0.0.0.0:50010
dfs.datanode.ipc.address
datanode的rpc伺服器位址和埠
datanode的http伺服器和埠
50075
hdfs-site.xml
0.0.0.0:50075
mr埠
引數描述
預設配置檔案
例子值mapred.job.tracker
job tracker互動埠
job tracker的web管理埠
task tracker的http埠
50060
mapred-site.xml
0.0.0.0:50060
其他埠
引數描述
預設 配置檔案
例子值dfs.secondary.http.address
secondary namenode web管理埠
50090
hdfs-site.xml
0.0.0.0:28680 引數
描述 預設
配置檔案
例子值dfs.name.dir
name node的元資料,以,號隔開,hdfs會把元資料冗餘複製到這些目錄，一般這些目錄是不同的塊裝置，不存在的目錄會被忽略掉
/dfs/name
hdfs-site.xm
/hadoop/hdfs/name
dfs.name.edits.dir
node node的事務檔案儲存的目錄,以,號隔開,hdfs會把事務檔案冗餘複製到這些目錄，一般這些目錄是不同的塊裝置，不存在的目錄會被忽略掉
$hdfs-site.xm
$fs.checkpoint.dir
secondary namenode的元資料以,號隔開,hdfs會把元資料冗餘複製到這些目錄，一般這些目錄是不同的塊裝置，不存在的目錄會被忽略掉
$/dfs/namesecondary
core-site.xml
/hadoop/hdfs/namesecondary
fs.checkpoint.edits.dir
secondary namenode的事務檔案儲存的目錄,以,號隔開,hdfs會把事務檔案冗餘複製到這些目錄
$core-site.xml
$hadoop.tmp.dir
臨時目錄,其他臨時目錄的父目錄
/tmp/hadoop-$
core-site.xml
/hadoop/tmp/hadoop-$
dfs.data.dir
data node的資料目錄,以,號隔開,hdfs會把資料存在這些目錄下，一般這些目錄是不同的塊裝置，不存在的目錄會被忽略掉
$/dfs/data
hdfs-site.xm
/hadoop/hdfs/data1/data,
/hadoop/hdfs/data2/data
mapred.local.dir
mapreduce產生的中間資料存放目錄,以,號隔開,hdfs會把資料存在這些目錄下，一般這些目錄是不同的塊裝置，不存在的目錄會被忽略掉
$/mapred/local
mapred-site.xml
/hadoop/hdfs/data1/mapred/local,
/hadoop/hdfs/data2/mapred/local
mapred.system.dir
mapreduce的控制檔案
$/mapred/system
mapred-site.xml
/hadoop/hdfs/data1/system
引數描述
預設 配置檔案
例子值false
hdfs-site.xml
true
dfs.replication
檔案複製的副本數，如果建立時不指定這個引數，就使用這個預設值作為複製的副本數
3hdfs-site.xml2
Hadoop常用埠的配置
以下列表常用的hadoop配置埠 基於hadoop2.7.4所列，不過不同hadoop版本在埠配置上所指意義基本是不變化的，如有例外請自查 引數 描述預設 配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 50070 h...
hadoop常用的埠配置
引數 描述預設 配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 hdfs site.xml 0.0.0.0 50070 dfs.datanode.address datanode 控制埠 50010 hdfs site...
Hadoop常用配置
這裡是瀏覽hadoop當前版本號的預設配置檔案，其他版本號，要另外去官網找。其中第乙個方法找到預設的配置是最好的，因為每個屬性都有說明，可以直接使用。另外，core site.xml是全域性配置,hdfs site.xml和mapred site.xml分別是hdfs和mapred的區域性配置。hd...