Hadoop 3 2 2 集群安裝

一、虛擬機器環境準備

系統主機

位址hadoop版本

jdk版本

centos9

hadoop01

10.211.55.4

3.2.2

1.8.0_322

centos9

hadoop02

10.211.55.7

3.2.2

1.8.0_322

centos9

hadoop03

10.211.55.6

3.2.2

1.8.0_322

二、分別在三颱虛擬機器中進行hosts 配置，配置內容如下

10.211.55.4 hadoop01

10.211.55.7 hadoop02
10.211.55.6 hadoop03

groupadd hadoop

useradd -d /home/hadoop -g hadoop -s /bin/bash -m hadoop
visudo
#在文中root行下新增hadoop行
修改主機的hostname配置，並重啟
#第一台註解配置

hostnamectl set-hostname hadoop01
#重啟reboot
#檢視是否更改成功
hostname
#第二台註解配置

hostnamectl set-hostname hadoop01
#重啟reboot
#檢視是否更改成功
hostname
#檢視是否更改成功

username
#第三台註解配置

hostnamectl set-hostname hadoop01
#重啟reboot
#檢視是否更改成功
hostname
關閉防火牆

關閉防⽕牆： systemctl stop firewalld

檢視狀態： systemctl status firewalld
開機禁⽤： systemctl disable firewalld
免密登陸配置

#切換到hadoop使用者

suhadoop
#生城公鑰，先檢視本地有沒有生成金鑰，如果有的話，再次生成會影響前面已經設定好的，用下面這條命令就可以
cat ~/.ssh/id_rsa.pub
#如果沒有的話，輸入下面的命令來在本機上生成公鑰和私鑰
ssh-keygen -t rsa
#把公鑰複製到遠端主機上，此處主要是將三颱虛擬機器的公鑰相互複製，以支援三颱伺服器可以使用hadoop賬號使用ssh直接登入
ssh-copy-id -i ~/.ssh/id_rsa.pub root@ip位址
四、集群規劃注意1：namenode和secondarynamenode不要部署在同一臺伺服器

注意2：resourcemanager也很消耗記憶體，不要和namenode、secondarynamenode部署在同一臺伺服器上
hadoop01
hadoop02
hadoop03
hdfs
datanode
datanode
datanode
namenode
secondarynamenode
yarn
nodemanager
nodemanager
nodemanager
resourcemanager
五、開始安裝
cd /opt/sofware
wget 
tar -xzvf  hadoop-3.3.2.tar.gz -c /opt/module
cd /opt/module
mv hadoop-3.3.2.tar.gz hadoop
				
HADOOP集群搭建   8   集群時間同步
1 檢查是否安裝ntp rpm qa grep ntp 安裝ntp yum install y ntp 安裝成功截圖 2 修改ntp配置檔案 修改3處 restrict 192.168.183.0 mask 255.255.255.0 nomodify notrap server 0.centos....
				
Hadoop 2 7 3集群（YARN）搭建
1 修改mapred site.xml mapreduce.framework.name yarn 2 修改yarn site.xml yarn.resourcemanager.hostname chan takchi the hostname of the rm.yarn.nodemanager....
				
Hadoop集群部署（三），集群時間同步
集群中的節點需要設定時間同步。這很自然，因為多節點協作，我們希望它們在時間上是同步的。解決方案就很簡單了，只保留乙個節點作為時間伺服器，其他兩個節點從該節點得到時間。步驟 在其中乙個節點配置ntp，這裡配置101主機 server 0.centos.pool.ntp.org iburst serve...