詳細命令截圖
集群規劃：
☛hadoop的高可用完全分布模式中有hdfs的主節點和資料節點、mapreduce的主節點和任務節點、資料同步通訊節點、主節點切換控制節點總共6類服務節點， 其中 hdfs的主節點、mapreduce的主節點、主節點切換控制節點共用相同主機cgt-01和cgt-02，hdfs的資料節點、mapreduce的任務節點共用相同主機cgt-03、cgt-04、cgt-05， 資料同步通訊節點可以使用集群中的任意主機， 但因為其存放的是元資料備份，所以一般不與主節點使用相同主機。
☛高可用完全分布模式中需要滿足主節點有備用的基本要求，所以需要兩台或以上的主機作為主節點， 而完全分布模式中需要滿足資料有備份和資料處理能夠分布並行的基本要求，所以需要兩台或以上的主機作為hdfs的資料節點和mapreduce的任務節點，同時資料同步通訊節點工作原理同zookeeper類似，需要三颱或以上的奇數臺主機，具體規劃如下。
主機名 ip位址 服務名稱
cgt-01 192.168.10.111 hadoop主節點
hadoop主節點切換服務
yarn主節點
cgt-02 192.168.10.112 hadoop主節點
hadoop主節點切換服務
yarn主節點
cgt-03 192.168.10.113 hadoop資料服務
hadoop同步通訊服務
yarn節點管理服務
cgt-04 192.168.10.114 hadoop資料服務
hadoop同步通訊服務
yarn節點管理服務
cgt-05 192.168.10.115 hadoop資料服務
hadoop同步通訊服務
yarn節點管理服務
hadoop常見shell
命令：
實驗內容與完成情況：
hdfs中常見shell命令
(1)向hdfs中上傳任意文字檔案，如果指定的檔案在hdfs中已經存在，由使用者指定是追加到原有檔案末尾還是覆蓋原有的檔案;
(3)將hdfs中指定檔案的內容輸出到終端中
例如:檢視列印hdfs中指定檔案file1.txt的內容$ hadoop fs -cat /user/admin/file1.xt$ hadoop fs -text /user/admin/file1.txt
(4)顯示hdfs中指定的檔案的讀寫許可權、大小、建立時間、路徑等資訊;
例如:檢視hdfs中file1.txt的讀寫許可權、 檔案大小、建立時間、路徑等。
$ hadoop fs -du /user/admin/file1.txt
$ hadoop fs -dus /user/admin/file1.txt
$ hadoop fs -du -h /user/admin/file1.txt
(5)給定hdfs中某一乙個目錄，輸出該目錄下的所有檔案的讀寫許可權、大小、建立時間、路徑等資訊，如果該檔案是目錄，則遞迴輸出該目錄下所有檔案相關資訊:
例如:新建目錄dir1, /dir1/dir2, 新建並，上傳檔案file2.txt到dir1, file2.xt內 容為hello world!，新建並上傳檔案file3.txt到dir2，file3.xt的內 容為hello hadoop!，然後檢視dir1目錄下的所有檔案讀寫許可權、大小等;遞迴輸出dir2目錄下所有檔案相關資訊。
$ hadoop fs -mkdir dir1
$ hadoop fs -mkdir -p dir1
$hadoop fs -mkdir -p /user/admin/dir1/dir2
$ echo 『hello world!』 > /home/admin/file2.txt
$ hadoop fs -put /home/admin/file2.txt /user/admin/dir1/
$ hadoop fs -cat /user/admin/dir1/file2.txts
$ hadoop fs -du -h /user/admin/dir1/
$ echo 『hello hadoop!』 > /home/admin/file3.xt
$ hadoop fs -put /home/admin/file3.txt /user/admin/dir1/dir2/
$ hadoop fs -ls /user/admin/dir1
$ hadoop fs -ls -r /user/admin/dir1
(6)提供乙個hdfs內的檔案的路徑，對該檔案進行建立和刪除操作。如果檔案所在目錄不存在，則自動建立目錄:
例如: hdfs內的檔案file4.txt,指定路徑為dir1/dir3
$ hadoop fs -touchz /user/admin/dir1/dir3/file4.txt
(7)提供乙個hdfs的目錄的路徑，對該目錄進行建立和刪除操作。建立目錄時， 如果目錄檔案所在目錄不存在則自動建立相應目錄;刪除目錄時，由使用者指定當該目錄不為空時是否還刪除該目錄:
例如: hdfs內的目錄dir4,指定路徑為/dir1/,在hdfs中/dir1/dir4目 錄下新建檔案file5.txt
$ hadoop fs -mkdir -p /user/admin/dir1/dir4
$ hadoop fs -touchz /user/admin/dir1/dir4/ile5.txt
$ hadoop fs -rm /user/admin/dir1/dir4
$ hadoop fs -rm -r /user/admin/dir1/dir4
（8）向hdfs中指定法人檔案追加內容，由使用者指定內容追加到原有檔案的開頭或結尾：、
先檢視file3.txt的內容：
在hdfs建立輸入資料夾
$ hadoop fs -mkdir input
上傳本地file中檔案到集群的input目錄下
$ hadoop fs -put ~/file/file*.txt input
$ hadoop fs -ls input
上傳jar包
使用xftp工具把wordcount的jar執行程式包，上傳到~/hadoop/hadoop=2.7.3/share/hadoop/mapreduce目錄下
在集群上執行wordcount程式
備註：以input為輸入目錄，output為輸出目錄
$ hadoop jar ~/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-0.20.2-examples.jar wordcount input output
檢視結果
檢視hdfs上output目錄內容
hadoop的web驗證練習
hdfs啟動驗證
1、檢視jps程序狀態:
2、開啟瀏覽器檢視
dfshealth.html# tab-overview
resourcemanager狀態檢視:
1、開啟瀏覽器檢視集群狀態、日誌資訊等:
cluster
在從節點上檢視nodemanager資訊:
Hadoop之HDFS常用檔案操作命令
hadoop fs cmd args hadoop fs ls dir hadoop fs ls r dir 列出hdfs檔案系統所有的目錄和檔案hadoop fs put hdfs file的父目錄一定要存在，否則命令不會執行 hadoop fs put hdfs dir 一定要存在，否則命令不會...
Hadoop操作HDFS命令
hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...
Hadoop操作HDFS命令
hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...