同步時間
date -s "2019-8-22 09:36:15"
實現從機到主機之間互相通訊
ssh免金鑰（本機生成）
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
分發金鑰到主機（並重命名區分 避免覆蓋）
scp id_dsa.pub bigdata01:`pwd`/bigdata02.pub
主機把從機傳送的bigdata02的公鑰追加到認證檔案裡：
cat ~/.ssh/bigdata02.pub >> ~/.ssh/authorized_keys
修改hdfs.xml，刪除原先的secondnamenode配置，增加以下
修改core-site.xml配置
fs.defaultfs
hdfs://mycluster
增加hadoop.tmp.dir
/opt/modules/hadoop-2.6.5/ha
ha.zookeeper.quorum
bigdata02:2181,bigdata03:2181,bigdata04:2181
分發hdfs-site.xml和core-site.xml給其他節點
scp core-site.xml hdfs-site.xml bigdata02:`pwd`
在2\3\4datanode中新增zookeeper包
tar -zxvf zookeeper-3.4.6.tar.gz -c /opt/modules/
進入zookeeper修改conf配置檔案
mv zoo_sample.cfg zoo.cfg
修改datadir=/opt/modules/zookeeper
增加server.1=bigdata02:2888:3888
server.2=bigdata03:2888:3888
server.3=bigdata04:2888:3888
分發zookeeper給其他節點
scp -r zookeeper-3.4.6/ bigdata03:`pwd`
給三颱節點新建資料夾
mkdir -p /opt/modules/zookeeper
新增可識別myid，每台機字數字不一樣 代表編號
echo 1 > /opt/modules/zookeeper/myid
配置環境變數
vi /etc/profile
export zookeeper_home=/opt/modules/zookeeper-3.4.6
path=$path:$zookeeper_home/bin
分發/etc/profile給其他節點
scp /etc/profile bigdata03:/etc/
source /etc/profile
啟動zookeeper
zkserver.sh start
開啟的機子中，編號大的為leader，其餘為follower
1\2\3台機啟動journalnode(同步資料)
hadoop-daemon.sh start journalnode
主namenode節點格式化：
hdfs namenode -format
啟動格式化後的主節點：
hadoop-daemon.sh start namenode
把主節點的資訊拷貝到當前節點的資訊（journalnode要啟動）：
hdfs namenode -bootstrapstandby
同步成功，會發現同步另乙個nn節點的clusterid 不是秘鑰分發，而是同步過來的
格式化zkfc，在zookeeper中可見目錄建立 ：
hdfs zkfc -formatzk
進入zookeeper客戶端：
zkcli.sh
啟動hdfs集群：
手動把nn1設定為active
$ bin/hdfs haadmin -transitiontoactive nn1
上傳檔案到nn1，然後將nn1切換為standby
將nn2切換為active，然後檢視hdfs檔案
手動切換回standby：
$ bin/hdfs haadmin -transitiontostandby nn1
注意：但是在dfszkfailovercontroller的監控下，無法執行，需要停止之後才可以執行
爬坑經歷：dfszkfailovercontroller好多次都沒有起來，在配置的時候注意要頂格寫，最好在linux下直接編寫，不要通過notepad進行。tab不可以用s多個空格替代。
集群啟動順序：zkserver.sh start ---> start-dfs.sh
Zookeeper高可用集群搭建部署
ath path path zk home bin 重新整理環境變數 source etc profile 二，配置服務編號 zookeeper集群 在 opt zookeeper目錄下建立乙個myid的檔案。示例一 root zk1 zookeeper touch myid root zk1 zo...
搭建部署Docker
docker安裝準備 首先看下伺服器是否有舊版本，如果有需要解除安裝並且安裝依賴 yum remove docker docker client docker client latest docker common docker latest docker latest logrotate dock...
0 3 Hadoop高可用集群搭建
準備三颱相互免秘鑰的虛擬機器 上傳zookeeper 解壓 移動 解壓zookeeper的tar包 語法 tar zxf zookeeper 3.4.6.tar.gz 移動zookper目錄 語法 mv zookeeper 3.4.6 opt sxt 修改配置檔案zoo.cfg進入zookeeper...