Hadoop之HDFS集群吞吐量測試

hadoop官方在hadoop安裝包的share/hadoop/mapreduce/路徑下提供了testdfsio工具，專門用於測試hdfs的吞吐量。

hadoop版本2.6.0

測試命令

hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar testdfsio -

write
-nrfiles 10 -filesize 128mb

write指測試寫效能，nrfiles測試檔案個數，filesize每個測試檔案的大小

測試命令

hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar testdfsio -read -nrfiles 10 -filesize 128mb

read指測試讀效能，nrfiles測試檔案個數，filesize每個測試檔案的大小

hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar testdfsio -clean

Hadoop集群之HDFS和YARN啟動和停止命令

1.啟動hdfs集群 使用hadoop的批量啟動指令碼 2.停止hdfs集群 使用hadoop的批量啟動指令碼 3.啟動單個程序 4.分別檢視啟動後3臺虛擬機器上的程序情況 root hadoop01 jps 6695 datanode 2002 quorumpeermain 6879 dfszkf...

hadoop集群之HDFS和YARN啟動和停止命令

假如我們只有3臺linux虛擬機器，主機名分別為hadoop01 hadoop02和hadoop03，在這3臺機器上，hadoop集群的部署情況如下 hadoop01 1個namenode，1個datanode，1個journalnode，1個zkfc，1個resourcemanager，1個nod...

Hadoop集群配置與HDFS介紹

理解 將多個節點的容量彙總成乙個大的檔案系統，在乙個節點上傳資料，在其的節點上都能夠訪問使用 hdfs 海量資料儲存系統 mapreduce 海量資料的計算系統計算框架 yarn 集群資源管理框架 hdfs的管理者 namenode 作用 1 維護 管理檔案系統的名字空間 元資料資訊 2 負責確定指...