mv cloudera-cdh5.repo /etc/yum.repo.d
1.2 在各節點安裝對應元件
1. 安裝namenode和datanode
在elephant上安裝namenode
sudo yum install --assumeyes hadoop-hdfs-namenode
在elephant，tiger和horse上安裝datanode
sudo yum install --assumeyes hadoop-hdfs-datanode
2. 安裝resourcemanger和nodemanager
在horse上安裝resourcemanager
sudo yum install –assumeyes hadoop-yarn-resourcemanager
在elephant，tiger和horse上安裝nodemanager
sudo yum install –assumeyes hadoop-yarn-nodemanager
3. 安裝mapreduce框架
在elephant，tiger和horse上安裝mapreduce
sudo yum install –assumeyes hadoop-mapreduce
4. 安裝jobhistoryserver
在hosrse 安裝jobhistoryserver
sudo yum install –assumeyes hadoop-mapreduce-historyserver
1.3 修改配置檔案
在elephant上修改配置檔案
1 copy模板檔案
sudo cp core-site.xml /etc/hadoop/conf/
sudo cp hdfs-site.xml /etc/hadoop/conf/
sudo cp yarn-site.xml /etc/hadoop/conf/
sudo cp mapred-site.xml /etc/hadoop/conf/
2 sudo vi core-site.xml
name value
fs.defaultfs hdfs://elephant:8020
3 sudo vi hdfs-site.xml
dfs.namenode.name.dir file:///disk1/dfs/nn,file:///disk2/dfs/nn
dfs.datanode.data.dir file:///disk1/dfs/dn,file:///disk2/dfs/dn
6 減小jvm堆大小
export hadoop_namenode_opts="-xmx64m"
export hadoop_secondarynamenode_opts="-xmx64m"
export hadoop_datanode_opts="-xmx64m"
export yarn_resourcemanager_opts="-xmx64m"
export yarn_nodemanager_opts="-xmx64m"
export hadoop_job_historyserver_opts="-xmx64m"
7 copy 所有配置檔案到tiger，horse主機
1.4 建立指定目錄
1 在elephant 建立和存放nodemanger，namenode，datanode相關目錄
$ sudo mkdir -p /disk1/dfs/nn
$ sudo mkdir -p /disk2/dfs/nn
$ sudo mkdir -p /disk1/dfs/dn
$ sudo mkdir -p /disk2/dfs/dn
$ sudo mkdir -p /disk1/nodemgr/local
$ sudo mkdir -p /disk2/nodemgr/local
2 設定目錄許可權
$ sudo chown -r hdfs:hadoop /disk1/dfs/nn
$ sudo chown -r hdfs:hadoop /disk2/dfs/nn
$ sudo chown -r hdfs:hadoop /disk1/dfs/dn
$ sudo chown -r hdfs:hadoop /disk2/dfs/dn
$ sudo chown -r yarn:yarn /disk1/nodemgr/local
$ sudo chown -r yarn:yarn /disk2/nodemgr/local
3 驗證目錄和許可權
$ ls -lr /disk1
$ ls -lr /disk2
1.5 格式化hdfs並啟動hdfs相關程序
1 啟動namenode 和查錯
1) 在elephant
sudo –u hdfs hdfs namenode –format
如果提示是否重新格式化，輸入y
啟動namenode
sudo service hadoop-hdfs-namenode start
2)檢視namenode日誌
手工檢視
可以根據啟動時提示的.out 檔案路徑檢視對應.log的檔案
less /var/log/hadoop-hdfs/ hadoop-hdfs-namenode-elephant.log
web ui檢視
檢視namenode 的web ui http://elephant:50070.
選擇 utilities->logs.
2 啟動datanode和查錯
1)在elephant，tiger，horse啟動
sudo service hadoop-hdfs-datanode start
2) 檢視datanode日誌
手工檢視
less /var/log/hadoop-hdfs/ hadoop-hdfs-datanode-tiger.log
web ui檢視
檢視datanode的web ui http://tiger:50075 ，選擇datanode日誌
在其他節點horse上檢視日誌也可用如上方法
1.6 在hdfs上建立為yarn和mapreduce建立目錄
$ sudo -u hdfs hadoop fs -mkdir /tmp
$ sudo -u hdfs hadoop fs -chmod -r 1777 /tmp
$ sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn
$ sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn
$ sudo -u hdfs hadoop fs -mkdir /user
$ sudo -u hdfs hadoop fs -mkdir /user/training
$ sudo -u hdfs hadoop fs -chown training /user/training
$ sudo -u hdfs hadoop fs -mkdir /user/history
$ sudo -u hdfs hadoop fs -chmod 1777 /user/history
$ sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history
1.7 啟動yarn和mapreduce程序
1 horse上啟動resourcemanager
sudo service hadoop-yarn-resourcemanager start
2所有節點上啟動nodemanager
sudo service hadoop-yarn-nodemanager start
3horse上啟動historyserver
sudo service hadoop-mapreduce-historyserver start
多節點集群思路
情況 在實際的專案實踐中，絕大多數情況不會是單節點執行程式 資料庫 其他，而會考慮部署一套公共資源，提供專案所需的資料庫，中介軟體等等。思路 如果有多節點的情況，最終實現的目的就是 ha和upstream，簡而言之就是實現主備的功能加上負載均衡的功能。市面上就提供了很典型的這樣的集群模式keepal...
kafka集群部署，多節點多broker
主機名 ip 位址 安裝路徑 系統135.36.247.91 135.36.247.91 board opt kafka 2.11 1.0.0 centos linux release 7.3.1611 core 135.36.247.92 135.36.247.92 135.36.247.93 1...
使用kolla安裝多節點OpenStack
前言 長久以來 openstack 部署難 公升級難的問題經常為人詬病，簡單 便捷 高效的部署公升級方案是所有 openstack 使用者 客戶 雲服務提供商 開發者 的共性剛需。kolla 正是應需而生，它基於社群的最佳實踐，提出了可靠 可擴充套件的生產級別 openstack service c...