步驟1:將安裝包hadoop-2.2.0.tar.gz存放到某一目錄下,並解壓;
步驟2:修改解壓後的目錄中的資料夾etc/hadoop下的xml配置檔案(如果檔案不存在,則自己建立),包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml;
步驟3:格式化並啟動hdfs;
步驟4:啟動yarn。
注意事項:
(1)主備namenode有多種配置方法,本課程使用journal node方式。為此,需要至少準備3個節點作為journal node,這三個節點可與其他服務,比如nodemanager共用節點
(2)主備兩個namenode應位於不同機器上,這兩台機器不要再部署其他服務,即它們分別獨享一台機器。(注:hdfs 2.0中無需再部署和配置secondary name,備namenode已經代替它完成相應的功能)
(3)主備namenode之間有兩種切換方式:手動切換和自動切換,其中,自動切換是借助zookeeper實現的,因此,需單獨部署乙個zookeeper集群(通常為奇數個節點,至少3個)。
1. hdfs ha部署方法
2. hdfs ha+federation的部署方法
3. yarn部署方法
hdfs ha部署流程—hdfs-site.xml配置:
dfs.nameservices
集群中命名服務列表(自定義)
dfs.ha.namenodes.$
命名服務中的namenode邏輯名稱(自定義)
dfs.namenode.rpc-address.$.$
命名服務中邏輯名稱對應的rpc位址
命名服務中邏輯名稱對應的http位址
dfs.namenode.name.dir
namenode fsiamge存放目錄
dfs.namenode.shared.edits.dir
主備namenode同步元資訊的共享儲存系統
dfs.journalnode.edits.dir
journal node資料存放目錄
hdfs ha部署流程—啟動/關閉hdfs:
(注意:所有操作均在hadoop安裝目錄下進行。)
步驟1:在各個journalnode節點上,輸入以下命令啟動journalnode服務:
sbin/hadoop-daemon.sh start journalnode
步驟2:在[nn1]上,對其進行格式化,並啟動:
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
步驟3:在[nn2]上,同步nn1的元資料資訊:
bin/hdfs namenode -bootstrapstandby
步驟4:在[nn2],啟動namenode:
sbin/hadoop-daemon.sh start namenode
(經過以上四步操作,nn1和nn2均處理standby狀態)
步驟5:在[nn1]上,將namenode切換為active
bin/hdfs haadmin -transitiontoactive nn1
步驟6:在[nn1]上,啟動所有datanode
sbin/hadoop-daemons.sh start datanode
關閉hadoop集群: 在[nn1]上,輸入以下命令 sbin/stop-dfs.sh
hdfs ha+federation部署流程—啟動/關閉hdfs:
在nn1和nn2兩個節點上進行如下操作:
步驟1:在各個journalnode節點上,輸入以下命令啟動journalnode服務:
sbin/hadoop-daemon.sh start journalnode
步驟2:在[nn1]上,對其進行格式化,並啟動:
bin/hdfs namenode –format -clusterid hadoop-cluster
sbin/hadoop-daemon.sh start namenode
步驟3:在[nn2]上,同步nn1的元資料資訊:
bin/hdfs namenode -bootstrapstandby
步驟4:在[nn2],啟動namenode:
sbin/hadoop-daemon.sh start namenode
(經過以上四步操作,nn1和nn2均處理standby狀態)
步驟5:在[nn1]上,將namenode切換為active
bin/hdfs haadmin -ns hadoop-cluster1 -transitiontoactive nn1
在nn3和nn4兩個節點上進行如下操作:
步驟1:在各個journalnode節點上,輸入以下命令啟動journalnode服務:
sbin/hadoop-daemon.sh start journalnode
步驟2:在[nn3]上,對其進行格式化,並啟動:
bin/hdfs namenode –format -clusterid hadoop-cluster
sbin/hadoop-daemon.sh start namenode
步驟3:在[nn4]上,同步nn1的元資料資訊:
bin/hdfs namenode -bootstrapstandby
步驟4:在[nn4],啟動namenode:
sbin/hadoop-daemon.sh start namenode
(經過以上四步操作,nn3和nn4均處理standby狀態)
步驟5:在[nn3]上,將namenode切換為active
bin/hdfs haadmin -ns hadoop-cluster2 -transitiontoactive nn3
最後:在[nn1]上,啟動所有datanode
sbin/hadoop-daemons.sh start datanode
yarn啟動/停止步驟:
在sy-0217上執行以下命令:
啟動yarn: sbin/start-yarn.sh
停止yarn: sbin/stop-yarn.sh 在sy-0355上執行以下命令:
啟動mr jobhistory server: sbin/mr-jobhistory-daemon.sh start historyserver
11 9 生產環境部署
fabric ca在整個證書管理環節中處於十分核心的位置。在生產環境中部署時,必須從多個方面進行考慮,以充分確保安全性 可靠性 規範性等指標。1.根證書的生成 根證書目前可以通過從權威機構 包括golbalsign verisign 申請,或採用自行簽名的方式生成。技術上來講,兩者都可以完成部署過程...
centos7 x64 mysql8生產環境部署
本文實戰講解生產環境centos7 x64下mysql8的二進位製包安裝部署,並相容低版本程式執行。版本選擇,如下圖 centos7 x64系統初始安裝均為最小化安裝,安裝mysql前先初始一些設定 a.關閉防火牆 檢視firewall狀態 root localhost systemctl list...
富士康急於為iPhone 13生產增聘20萬名工人
典型的季節性需求,加上異常激烈的員工競爭,意味著 iphone 13 裝配商富士康需要加緊招聘。面對能夠和有興趣從事製造業的勞動力的萎縮的現狀,蘋stynjrn果的 商們一直在爭相招聘員工。現在隨著下一部iphone上市的臨近,據說富士康還需要20萬名工人,並推出了新的快速招聘通道。據 南華早報 報...