配置檔案與功能對應:
修改core-site.xml檔案
fs.defaultfs
hdfs://hadoop01:8020(在哪一台配,namenode就在哪一台啟動)
io.file.buffer.size
4096
hadoop.tmp.dir
/home/hadoop/hadoop-2.6.0/hadoopdata/tmp
修改hdfs-site.xml檔案
dfs.replication
3dfs.blocksize
134217728
dfs.namenode.name.dir
file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name
dfs.datanode.data.dir
file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data
fs.checkpoint.dir
file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname
fs.checkpoint.edits.dir
file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname
(主機2為主機
1做輔助作用)
修改mapred-site.xml檔案
命令如下:
# mv mapred-site.xml.template mapred-site.xml
#vi mapred-site.xml
mapreduce.framework.name
yarn
true
內部埠
mapreduce.jobhistory.address
hdp-qm-01:10020
外部web埠
hdp-qm-01:1988819888是
mapreduce
的歷史埠
修改yarn-site.xml,配置yarn的集群。。
50070
是hdfs
的web
埠yarn.resourcemanager.hostname
hdp-qm-01
yarn.nodemanager.aux-services
mapreduce_shuffle
注:mapreduce處理開始,到聚合之前,為
shuffle
過程。yarn.resourcemanager.address
hdp-qm-01:8032
內部通訊埠與nodemanager通訊的埠
yarn.resourcemanager.scheduler.address請求某一台機器,排程資源時需要的埠,
hdp-qm-01:8030
yarn.resourcemanager.resource-tracker.address
hdp-qm-01:8031
(tracker跟蹤,nodemanager跟蹤資源時需要的埠)
yarn.resourcemanager.admin.address
hdp-qm-01:8033任務管理需要的埠
hdp-qm-01:80888088是
yarn
的web
埠
Hadoop配置檔案彙總
共8個配置檔案 namenode位址,hadoop執行產生檔案儲存位址 core cite.xml 設定後本地模式不可用,因為namenode位址修改為hdfs了,預設是file fs.defaultfs hdfs localhost102 9000 hadoop.tmp.dir opt modul...
Hadoop 配置檔案簡介
1 core site.xml檔案 這是乙個描述集群中namenode結點的uri 統一資源識別符號 包括協議,主機名稱,埠號 集群裡面的每一台機器都需要知道 namenode的位址。datanode結點會先在namenode上註冊,這樣它們的資料才可以被利用。獨立的客戶端程式通過這個uri跟 da...
Hadoop配置檔案同步指令碼
同步hadoop的配置檔案,總是scp,這很麻煩,現在寫了乙個同步指令碼 這個指令碼會先備份遠端伺服器的配置檔案,然後再同步 如果同步的次數多了,可以按照日誌刪除配置檔案比如 find name 20150604 xargs rm f 指令碼內容如下 bin bash 用於同步配置檔案 配置檔案路徑...