假如我們只有3臺linux虛擬機器，主機名分別為hadoop01、hadoop02和hadoop03，在這3臺機器上，hadoop集群的部署情況如下：
hadoop01：1個namenode，1個datanode，1個journalnode，1個zkfc，1個resourcemanager，1個nodemanager；下面我們來介紹啟動hdfs和yarn的一些命令。hadoop02：1個namenode，1個datanode，1個journalnode，1個zkfc，1個resourcemanager，1個nodemanager；
hadoop03：1個datenode，1個journalnode，1個nodemanager；
1.啟動hdfs集群（使用hadoop的批量啟動指令碼）
[root@hadoop01 ~]#從上面的啟動日誌可以看出，start-dfs.sh這個啟動指令碼是通過ssh對多個節點的namenode、datanode、journalnode以及zkfc程序進行批量啟動的。starting namenodes on [hadoop01 hadoop02]
starting journal nodes [hadoop01 hadoop02 hadoop03]
starting zk failover controllers on nn hosts [hadoop01 hadoop02]
[root@hadoop01 ~]#
2.停止hdfs集群（使用hadoop的批量啟動指令碼）
[root@hadoop01 ~]#3.啟動單個程序stopping namenodes on [hadoop01 hadoop02]
hadoop02: stopping namenode
hadoop01: stopping namenode
hadoop02: stopping datanode
hadoop03: stopping datanode
hadoop01: stopping datanode
stopping journal nodes [hadoop01 hadoop02 hadoop03]
hadoop03: stopping journalnode
hadoop02: stopping journalnode
hadoop01: stopping journalnode
stopping zk failover controllers on nn hosts [hadoop01 hadoop02]
hadoop01: stopping zkfc
hadoop02: stopping zkfc
[root@hadoop01 ~]#
[root@hadoop01 ~]#[root@hadoop02 ~]#
[root@hadoop01 ~]#
[root@hadoop02 ~]#
[root@hadoop01 ~]#
[root@hadoop02 ~]#
[root@hadoop01 ~]#
[root@hadoop02 ~]#
分別檢視啟動後3臺虛擬機器上的程序情況：
[root@hadoop01 ~]#
jps6695datanode
2002quorumpeermain
6879dfszkfailovercontroller
7035jps
6800journalnode
6580namenode
[root@hadoop01 ~]#
[root@hadoop02 ~]#jps5331jpsjps6360journalnode
6436dfszkfailovercontroller
2130quorumpeermain
6541jps
6255datanode
6155namenode
[root@hadoop02 ~]#
5103datanode
5204journalnode
2258quorumpeermain
3.停止單個程序
[root@hadoop01 ~]#jps6695datanode
2002quorumpeermain
8486jps
6879dfszkfailovercontroller
6800journalnode
6580namenode
[root@hadoop01 ~]#
[root@hadoop01 ~]#
[root@hadoop01 ~]#
[root@hadoop01 ~]#
[root@hadoop01 ~]#
stopping zkfc
[root@hadoop01 ~]#
stopping journalnode
[root@hadoop01 ~]#
stopping datanode
[root@hadoop01 ~]#
stopping namenode
[root@hadoop01 ~]#
jps2002quorumpeermain
8572jps
[root@hadoop01 ~]#
[root@hadoop02 ~]#jps5103datanodejps6360journalnode
6436dfszkfailovercontroller
2130quorumpeermain
7378jps
6255datanode
6155namenode
[root@hadoop02 ~]#
stopping zkfc
[root@hadoop02 ~]#
stopping journalnode
[root@hadoop02 ~]#
stopping datanode
[root@hadoop02 ~]#
stopping namenode
[root@hadoop02 ~]#
jps7455jps
2130quorumpeermain
[root@hadoop02 ~]#
5204journalnode
5774jps
2258quorumpeermain
stopping journalnode
stopping datanode
jps5818jps
2258quorumpeermain
3.啟動yarn集群（使用hadoop的批量啟動指令碼）
[root@hadoop01 ~]#從上面的啟動日誌可以看出，start-yarn.sh啟動指令碼只在本地啟動乙個resourcemanager程序，而3臺機器上的nodemanager都是通過ssh的方式啟動的。所以hadoop02機器上的resourcemanager需要我們手動去啟動。starting yarn daemons
[root@hadoop01 ~]#
4.啟動hadoop02上的resourcemanager程序
5.停止yarn
[root@hadoop01 ~]#通過上面的停止日誌可以看出，stop-yarn.sh指令碼只停止了本地的那個resourcemanager程序，所以hadoop02上的那個resourcemanager我們需要單獨去停止。stopping yarn daemons
stopping resourcemanager
hadoop01: stopping nodemanager
hadoop03: stopping nodemanager
hadoop02: stopping nodemanager
no proxyserver to stop
[root@hadoop01 ~]#
6.停止hadoop02上的resourcemanager
注意：啟動和停止單個hdfs相關的程序使用的是"hadoop-daemon.sh"指令碼，而啟動和停止yarn使用的是"yarn-daemon.sh"指令碼。
Hadoop集群之HDFS和YARN啟動和停止命令
1.啟動hdfs集群 使用hadoop的批量啟動指令碼 2.停止hdfs集群 使用hadoop的批量啟動指令碼 3.啟動單個程序 4.分別檢視啟動後3臺虛擬機器上的程序情況 root hadoop01 jps 6695 datanode 2002 quorumpeermain 6879 dfszkf...
Hadoop之HDFS集群吞吐量測試
hadoop官方在hadoop安裝包的share hadoop mapreduce 路徑下提供了testdfsio工具，專門用於測試hdfs的吞吐量。hadoop版本2.6.0 測試命令 hadoop jar opt module hadoop 2.7.7 share hadoop mapreduc...
Hadoop集群配置與HDFS介紹
理解 將多個節點的容量彙總成乙個大的檔案系統，在乙個節點上傳資料，在其的節點上都能夠訪問使用 hdfs 海量資料儲存系統 mapreduce 海量資料的計算系統計算框架 yarn 集群資源管理框架 hdfs的管理者 namenode 作用 1 維護 管理檔案系統的名字空間 元資料資訊 2 負責確定指...