hdfs ha 搭建文件 高可靠

2021-10-25 00:20:41 字數 1264 閱讀 6497

1、防火牆

service iptables stop

2、時間同步

yum install ntp

ntpdate -u s2c.time.edu.cn

或者date -s 20180503

3、免金鑰 (遠端執行命令)

在兩個主節點生成金鑰檔案

ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa

ssh-copy-id ip

master-->master,node1,node2

node1-->master,node1,node2

4、修改hadoop配置檔案

core-site.xml

hdfs-site.xml

同步到其它節點

scp * node1:`pwd`

scp * node2:`pwd`

5、刪除hadoop資料儲存目錄下的檔案 每個節點都需要刪除

rm -rf /usr/local/soft/hadoop-2.6.0/tmp

6、啟動zookeeper 三颱都需要啟動

zkserver.sh start

zkserver.sh status

7、啟動jn 儲存hdfs元資料

三颱jn上執行 啟動命令:

hadoop-daemon.sh start journalnode

8、格式化 在一台nn上執行

hdfs namenode -format

啟動當前的nn

hadoop-daemon.sh start namenode

9、執行同步 沒有格式化的nn上執行 在另外乙個namenode上面執行

hdfs namenode -bootstrapstandby

10、格式化zk 在已經啟動的namenode上面執行

!!一定要先 把zk集群正常 啟動起來

hdfs zkfc -formatzk

11、啟動hdfs集群,在啟動了namenode的節點上執行

start-dfs.sh

yarn 高可用

1、修改配置檔案

yarn-site.xml

mapred-site.xml

同步到所有節點

2、啟動yarn 在master啟動

start-yarn.sh

3、在另外一台主節點上啟動rm

yarn-daemon.sh start resourcemanager

memcache搭建文件

memcache搭建文件 wget wget c 安裝依賴包 tar zxvf libevent 1.4.14b stable.tar.gz cd libevent 1.4.14b stable configure prefix usr local libevent make make instal...

ftp搭建文件

檢視所有的安裝的軟體包 並在結果中查詢包含vsftp 的檔案 rpm qa grep vsftpd 如果沒有裝則使用yum命令安裝 yum y install vsftpd 建立使用者 useradd xiao passwd xiao 回車 給使用者xiao設定登入密碼 建立使用者並指定使用者目錄 ...

Redis 搭建文件,備份及認證

wget 為了方便管理,將redis檔案中的conf配置檔案和常用命令移動到統一檔案中 root localhost test pwd home test root localhost test mkdir p redis root localhost test tar xf redis 3.0.6...