準備好三颱centos系統，配置如下
主機名centos1
centos2
centos3
ipcentos1的ip
centos2的ip
centos3的ip
centos7修改主機名命令：
hostnamectl set-hostname ***配置三個centos的ip對映，修改/etc/hosts，加入如下配置：
centos1的ip centos1
centos2的ip centos2
centos3的ip centos3
分別配置好三個centos的jdk環境、hadoop環境(參考hadoop環境搭建)，過程略（使用命令scp操作很簡單），配置伺服器免密登入（參考linux免密碼操作）
三颱伺服器任務分配：
centos1
centos2
centos3
部署乙個namenode、乙個datanode
部署一台datanode
部署一台datanode
因為namenode在centos1中，所以入口統一是在centos1：
在裡面加入三颱centos的主機名或ip位址（datanode所在的伺服器）：
啟動前先在centos1（namenode）中執行初始化：
hadoop namenode -format
在centos1中執行命令啟動hdfs
去centos2和centos3執行檢視發現都有乙個datanode節點
訪問web介面：
Hadoop集群搭建之二（測試hadoop集群）
搭建好hadoop集群後，需要測試下集群看各節點是否工作正常。1.單集群hadoop測試 2.hdfs檔案系統操作手冊 驗證前，先關閉集群中各個節點的防火牆，否則會出現datanode執行一段時間後，自動關閉。使用下面的命令關閉防火牆 service iptables stopmaster.hado...
Hadoop系列之八 Hadoop集群
1 合併mapreduce集群與hdfs集群 在排程執行乙個作業時，將map任務等直接執行於要處理的資料所儲存的hdfs的資料節點上，可避免大量的資料傳輸，實現資料處理的本地性，進而大大提高整個過程的完成效率，這也正是hadoop集群的部署方式。如下圖所示。在乙個小於50個節點的小規模集群中，可以將...
Hadoop系列之八 Hadoop集群
1 合併mapreduce集群與hdfs集群 在排程執行乙個作業時，將map任務等直接執行於要處理的資料所儲存的hdfs的資料節點上，可避免大量的資料傳輸，實現資料處理的本地性，進而大大提高整個過程的完成效率，這也正是hadoop集群的部署方式。如下圖所示。在乙個小於50個節點的小規模集群中，可以將...