除介紹的命令外,還有許多bin/hadoop.dfs命令,以上介紹的只是幫助你開始使用hdfs,執行bin/hadoop dfs不帶任何引數會列出所有fsshell系統提供的命令,當你遇到問題時執行bin/hadoop dfs –help commandname會顯示這個命令的用法。
下面是所有命令的介紹,介紹之前先定義一下引數的意義:
1.
斜體:表示使用者輸入的變數。
2. path:表示檔名或目錄名。
3.
path…:表示乙個或多個檔名或目錄名。
4. file:表示任意檔名。
5. src和dest:表示hdfs的源路徑和目標路徑
6. localsrc和localdest:表示本地檔案系統的源路徑和目標路徑。
7. 在中的引數是可選的。
1. -ls path
列出path目錄下的內容,包括檔名,許可權,所有者,大小和修改時間。
2. -lsr path
與ls相似,但遞迴地顯示子目錄下的內容。
3. -du path
顯示path下所有檔案磁碟使用情況下,用位元組大小表示,檔名用完整的hdfs協議字首表示。
4. -dus path
與-du相似,但它還顯示全部檔案或目錄磁碟使用情況
5. -mv src dest
將檔案或目錄從hdfs的源路徑移動到目標路徑。
6. -cp src dest
在hdfs中,將src檔案或目錄複製到dest。
7. –rm path
刪除乙個檔案或目錄
8. –rmr path
刪除乙個檔案或遞迴刪除目錄
9. –put localsrc dest
將本地檔案或目錄localsrc上傳到hdfs中的dest路徑。
10. –copyfromlocal localsrc dest
與-put命令相同
11. –movefromlocal localsrc dest
將檔案或目錄從localsrc上傳到hdfs中的dest目錄,再刪除本地檔案或目錄localsrc。
12 –get [-crc] src localdest
將檔案或目錄從hdfs中的src拷貝到本地檔案系統localdest。
13 –getmerge src localdest [addnl]
將在hdfs中滿足路徑src的檔案合併到本地檔案系統的乙個檔案localdest中。
14 –cat filename
顯示檔案內容到標準輸出上。
15. -copytolocal [-crc] src localdest
與-get命令相同。
16 -movetolocal [-crc] src localdest
與-get命令相似,但拷貝結束後,刪除hdfs上原檔案。
17 -mkdir path
在hdfs中建立乙個名為path的目錄,如果它的上級目錄不存在,也會被建立,如同linux中的mkidr –p。
18 -setrep [-r] [-w] rep path
設定目標檔案的複製數。
19 -touchz path
建立乙個檔案。時間戳為當前時間,如果檔案本就存在就失敗,除非原檔案長充為0。
20 -test –[ezd] path
如果路徑(path)存在,返回1,長度為0(zero),或是乙個目錄(directory)。
21 –stat [format] path
顯示檔案所佔塊數(%b),檔名(%n),塊大小(%n),複製數(%r),修改時間(%y%y)。
22 –tail [-f] file
顯示檔案最後的1kb內容到標準輸出。
23 –chmod [-r] [owner][:[group]] path…
遞迴修改時帶上-r引數,mode是乙個3位的8進製數,或是[augo]+/-。
24 –chgrp [-r] group
設定檔案或目錄的所有組,遞迴修改目錄時用-r引數。
25 –help cmd
顯示cmd命令的使用資訊,你需要把命令的「-」去掉
HDFS命令參考
在 hadoop home bin hadoop fs裡有更多的命令,bin hdfs dfs 可以列出所有可以在fs shell系統上執行的命令。此 hadoop home bin hadoop fs help命令會顯示簡短的用法。所有表的操作如下所示,以下是使用引數的一般方式 means any...
hdfs 的操作命令
1 hdfs dfs ls 檢視根目錄下所有檔案 2 hdfs dfs ls r 檢視根目錄下遞迴檢視所有檔案和資料夾 3 hdfs dfs mkdir mydir1 建立乙個名稱為mydir1的資料夾 4 hdfs dfs mkdir p mydir2 mydir22 mydir222 遞迴的建立...
HDFS命令筆記
環境 hadoop 2.7 1 上傳檔案 上傳tem下的檔案到 hdfs中的 lcy路徑 上傳檔案的路徑必須是hdfs有訪問許可權的 上傳到的檔案路徑必須是hdfs能夠寫入的 sudo u hdfs hdfs put tem y lcy 2 檢視檔案 檢視hdfs下的檔案 路徑為 lcy yarn ...