hadoop集群配置檔案

2022-07-28 11:36:18 字數 1882 閱讀 6172

配置檔案與功能對應:

修改core-site.xml檔案

fs.defaultfs

hdfs://hadoop01:8020(在哪一台配,namenode就在哪一台啟動)

io.file.buffer.size

4096

hadoop.tmp.dir

/home/hadoop/hadoop-2.6.0/hadoopdata/tmp

修改hdfs-site.xml檔案

dfs.replication

3dfs.blocksize

134217728

dfs.namenode.name.dir

file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name

dfs.datanode.data.dir

file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data

fs.checkpoint.dir

file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname

fs.checkpoint.edits.dir

file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname

(主機2為主機

1做輔助作用)

修改mapred-site.xml檔案

命令如下:

# mv mapred-site.xml.template  mapred-site.xml

#vi mapred-site.xml

mapreduce.framework.name

yarn

true

內部埠

mapreduce.jobhistory.address

hdp-qm-01:10020

外部web埠

hdp-qm-01:1988819888是

mapreduce

的歷史埠

修改yarn-site.xml,配置yarn的集群。。

50070

是hdfs

的web

埠yarn.resourcemanager.hostname

hdp-qm-01

yarn.nodemanager.aux-services

mapreduce_shuffle

注:mapreduce處理開始,到聚合之前,為

shuffle

過程。yarn.resourcemanager.address

hdp-qm-01:8032

內部通訊埠與nodemanager通訊的埠

yarn.resourcemanager.scheduler.address請求某一台機器,排程資源時需要的埠,

hdp-qm-01:8030

yarn.resourcemanager.resource-tracker.address

hdp-qm-01:8031

(tracker跟蹤,nodemanager跟蹤資源時需要的埠)

yarn.resourcemanager.admin.address

hdp-qm-01:8033任務管理需要的埠

hdp-qm-01:80888088是

yarn

的web

Hadoop配置檔案彙總

共8個配置檔案 namenode位址,hadoop執行產生檔案儲存位址 core cite.xml 設定後本地模式不可用,因為namenode位址修改為hdfs了,預設是file fs.defaultfs hdfs localhost102 9000 hadoop.tmp.dir opt modul...

Hadoop 配置檔案簡介

1 core site.xml檔案 這是乙個描述集群中namenode結點的uri 統一資源識別符號 包括協議,主機名稱,埠號 集群裡面的每一台機器都需要知道 namenode的位址。datanode結點會先在namenode上註冊,這樣它們的資料才可以被利用。獨立的客戶端程式通過這個uri跟 da...

Hadoop配置檔案同步指令碼

同步hadoop的配置檔案,總是scp,這很麻煩,現在寫了乙個同步指令碼 這個指令碼會先備份遠端伺服器的配置檔案,然後再同步 如果同步的次數多了,可以按照日誌刪除配置檔案比如 find name 20150604 xargs rm f 指令碼內容如下 bin bash 用於同步配置檔案 配置檔案路徑...