一.前期準備(為了後期搭建hadoop做準備)
hadoop需要三颱虛擬機器,所以要建立三颱虛擬機器,我將三颱虛擬機器分別命名為node1,node2,node3,ip分別是192.168.36.101,192.168.36.102,192.168.36.103。
還需要準備相對應的jdktar包和hadooptar包,我的tar包如下
二.關閉防火牆(單純的關閉防火牆的話,只用看下方命令就可以;如果想搭建hadoop集群,則需要看上一段的內容)
關閉防火牆其實很簡單
systemctl status firewalld 檢視防火牆狀態
systemctl stop firewalled 臨時關閉防火牆
systemctl disable firewalld 徹底關閉防火牆
Hadoop集群搭建
hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群,兩者邏輯上分離,但物理上常在一起。hdfs集群 負責海量資料的儲存,集群中的角色主要有 namenode datanode yarn集群 負責海量資料運算時的資源排程,集群中的角色主要有 resourcemanager nodeman...
hadoop集群搭建
hadoop執行環境搭建 1.修改主機名 2.關閉防火牆 3.建立hadoop使用者 4.配置hadoop使用者具有root許可權 5.在 opt目錄下建立資料夾 1 在 opt目錄下建立module soft資料夾 sudo mkdir module sudo mkdir soft 2 修改mod...
Hadoop(二)Hadoop集群搭建
準備好三颱centos系統,配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映,修改 etc hosts,...