HDFS的命令參考

2021-06-18 09:31:46 字數 2071 閱讀 4024

除介紹的命令外,還有許多bin/hadoop.dfs命令,以上介紹的只是幫助你開始使用hdfs,執行bin/hadoop dfs不帶任何引數會列出所有fsshell系統提供的命令,當你遇到問題時執行bin/hadoop dfs –help commandname會顯示這個命令的用法。

下面是所有命令的介紹,介紹之前先定義一下引數的意義:

1.  

斜體:表示使用者輸入的變數。

2. path:表示檔名或目錄名。

3.  

path…:表示乙個或多個檔名或目錄名。

4. file:表示任意檔名。

5. src和dest:表示hdfs的源路徑和目標路徑

6. localsrc和localdest:表示本地檔案系統的源路徑和目標路徑。

7. 在中的引數是可選的。

1. -ls path

列出path目錄下的內容,包括檔名,許可權,所有者,大小和修改時間。

2. -lsr path

與ls相似,但遞迴地顯示子目錄下的內容。

3. -du path

顯示path下所有檔案磁碟使用情況下,用位元組大小表示,檔名用完整的hdfs協議字首表示。

4. -dus path

與-du相似,但它還顯示全部檔案或目錄磁碟使用情況

5. -mv src dest

將檔案或目錄從hdfs的源路徑移動到目標路徑。

6. -cp src dest

在hdfs中,將src檔案或目錄複製到dest。

7. –rm path

刪除乙個檔案或目錄

8. –rmr path

刪除乙個檔案或遞迴刪除目錄

9. –put localsrc dest

將本地檔案或目錄localsrc上傳到hdfs中的dest路徑。

10. –copyfromlocal localsrc dest

與-put命令相同

11. –movefromlocal localsrc dest

將檔案或目錄從localsrc上傳到hdfs中的dest目錄,再刪除本地檔案或目錄localsrc。

12 –get [-crc] src localdest

將檔案或目錄從hdfs中的src拷貝到本地檔案系統localdest。

13 –getmerge src localdest [addnl]

將在hdfs中滿足路徑src的檔案合併到本地檔案系統的乙個檔案localdest中。

14 –cat filename

顯示檔案內容到標準輸出上。

15. -copytolocal [-crc] src localdest

與-get命令相同。

16 -movetolocal [-crc] src localdest

與-get命令相似,但拷貝結束後,刪除hdfs上原檔案。

17 -mkdir path

在hdfs中建立乙個名為path的目錄,如果它的上級目錄不存在,也會被建立,如同linux中的mkidr –p。

18 -setrep [-r] [-w] rep path

設定目標檔案的複製數。

19 -touchz path

建立乙個檔案。時間戳為當前時間,如果檔案本就存在就失敗,除非原檔案長充為0。

20 -test –[ezd] path

如果路徑(path)存在,返回1,長度為0(zero),或是乙個目錄(directory)。

21 –stat [format] path

顯示檔案所佔塊數(%b),檔名(%n),塊大小(%n),複製數(%r),修改時間(%y%y)。

22 –tail [-f] file

顯示檔案最後的1kb內容到標準輸出。

23 –chmod [-r] [owner][:[group]] path…

遞迴修改時帶上-r引數,mode是乙個3位的8進製數,或是[augo]+/-。

24 –chgrp [-r] group

設定檔案或目錄的所有組,遞迴修改目錄時用-r引數。

25 –help cmd

顯示cmd命令的使用資訊,你需要把命令的「-」去掉

HDFS命令參考

在 hadoop home bin hadoop fs裡有更多的命令,bin hdfs dfs 可以列出所有可以在fs shell系統上執行的命令。此 hadoop home bin hadoop fs help命令會顯示簡短的用法。所有表的操作如下所示,以下是使用引數的一般方式 means any...

hdfs 的操作命令

1 hdfs dfs ls 檢視根目錄下所有檔案 2 hdfs dfs ls r 檢視根目錄下遞迴檢視所有檔案和資料夾 3 hdfs dfs mkdir mydir1 建立乙個名稱為mydir1的資料夾 4 hdfs dfs mkdir p mydir2 mydir22 mydir222 遞迴的建立...

HDFS命令筆記

環境 hadoop 2.7 1 上傳檔案 上傳tem下的檔案到 hdfs中的 lcy路徑 上傳檔案的路徑必須是hdfs有訪問許可權的 上傳到的檔案路徑必須是hdfs能夠寫入的 sudo u hdfs hdfs put tem y lcy 2 檢視檔案 檢視hdfs下的檔案 路徑為 lcy yarn ...