hadoop集群具體來說包含兩個集群：hdfs集群和yarn集群，兩者邏輯上分離，但物理上常在一起。
hdfs集群：負責海量資料的儲存，集群中的角色主要有 namenode / datanode
yarn集群：負責海量資料運算時的資源排程，集群中的角色主要有 resourcemanager /nodemanager
benz nn dn nm snn rm
audi dn nm
bmw dn nm
說明：nn:namenode
dn:datanode
nm:nodemanager
snn:secondary namenode
rm:resourcemanager
a.各個機器處於同乙個網段，以構成乙個區域網，同時還應該配置主機名/ip對映，以便於後期使用
b.配置ssh免密登入
ssh-keygen
ssh-copy-id hostname
可以編寫shell指令碼進行免密登入配置
c.配置防火牆
此處直接把防火牆關閉
service iptables stop
chkconfig iptables off
2.配置hadoop的環境變數
3.修改配置檔案：$hadoop_home/etc/hadoop/
配置檔案:hadoop-env.sh
配置檔案：core-site.xml
fs.defaultfs
hdfs://benz:9000
hadoop.tmp.dir
/root/hadoop/tmp
配置檔案：hdfs-site.xml
配置檔案：mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name
yarn
配置檔案：yarn-site.xml
yarn.resourcemanager.hostname
benz
yarn.nodemanager.aux-services
mapreduce_shuffle
配置檔案：salves（此檔案將集群的所有機器寫到其中）
benz
audi
bmw將配置檔案傳到其他集群中的機器對應目錄上
1.格式化namenode
hdfs namenode -format (hadoop namenode -format)
2.啟動hdfs（先啟動）
start-dfs.sh
3.啟動yarn（後啟動）
start-yarn.sh
可以通過hadoop-daemon.sh start/stop namenode/datanode...
進行單個節點的啟動和關閉
說明：此處的集群不是ha模式的集群
hadoop集群搭建
hadoop執行環境搭建 1.修改主機名 2.關閉防火牆 3.建立hadoop使用者 4.配置hadoop使用者具有root許可權 5.在 opt目錄下建立資料夾 1 在 opt目錄下建立module soft資料夾 sudo mkdir module sudo mkdir soft 2 修改mod...
Hadoop（二）Hadoop集群搭建
準備好三颱centos系統，配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映，修改 etc hosts，...
hadoop集群搭建流程
安裝環境 利用vmware建立了5臺ubuntu18.04的虛擬機器，主機名分別是hadoop01 hadoop05,採用nat網路連線，ip分別為192.168.111.130 192.168.111.134。安裝過程 1 切換到root使用者下。設定root使用者密碼方式 利用xshell向所有...