Yarn集群的搭建

2021-08-29 04:09:43 字數 978 閱讀 4746

1.首先,yarn集群的搭建是建立在高可用完全分布式上進行搭建的

2.修改配置檔案(每台伺服器都需要修改)

2.1修改配置:mapred-site.xml(此檔案在hadoop的etc下的mapred-site.xml中,原名需要在後刪除一部分,得到此配置檔案)

mapreduce.framework.name

yarn

配置資源管理器yarn2.2yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.ha.enabled

true

yarn.resourcemanager.cluster-id

cluster1

yarn.resourcemanager.ha.rm-ids

rm1,rm2

yarn.resourcemanager.hostname.rm1

node01

yarn.resourcemanager.hostname.rm2

node02

yarn.resourcemanager.zk-address

node02:2181,node03:2181,node04:2181

在啟動程序後,在node01執行:start-yarn.sh (bin目錄下)在node02上執行:nyarn-daemon.sh start resourcemanager

yarn 集群搭建

啟動步驟 基於ha 集群搭建 ha集群搭建 nn 1 nn 2 dnzk zkfc jnnrs nmnode1 node2 node3 node4 mapreduce.framework.namename yarnvalue property configuration yarn.nodemanag...

Yarn 集群環境搭建

環境準備 確保主機搭建 hdfs 執行環境 步驟一 修改 mapred site.xml 配置檔案 root node 01 hadoop vim mapred site.xml mapreduce.framework.name yarn 步驟二 修改yarn env.sh 配置檔案 root no...

YARN篇 基於HA的YARN集群搭建

修改配置如下 vi mapred site.xml mapreduce.framework.namename yarnvalue property vi yarn site.xml yarn.nodemanager.aux servicesname mapreduce shufflevalue pr...