Hadoop hdfs dfs常用命令的使用

2021-10-10 13:47:07 字數 4169 閱讀 1685

hadoop fs [generic options]

[-cat [-ignorecrc] ...]           檢視

[-checksum [-v] ...]              校驗和(資料完整性校驗)

[-chgrp [-r] group path...]              修改所屬組(change group) -r表示遞迴

[-chmod [-r] path...] 修改許可權(change mode) -r表示遞迴

[-chown [-r] [owner][:[group]] path...]        修改所有者(change group) -r表示遞迴

[-copyfromlocal [-f] [-p] [-l] [-d] [-t ] ... ]  從本地複製

[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... 複製到本地

[-count [-q] [-h] [-v] [-t ] [-u] [-x] [-e] ...]         統計 

[-cp [-f] [-p | -p[topax]] [-d] ... ]                複製

[-createsnapshot ]                建立快照

[-deletesnapshot ]                  刪除快照

[-df [-h] [...]]             顯示目前檔案系統磁碟使用情況統計(disk free)      

[-du [-s] [-h] [-v] [-x] ...]  顯示目錄或檔案的大小(disk usage) -h或--human-readable 以k,m,g為單位,提高資訊的可讀性。

[-expunge [-immediate] [-fs ]]     清空**站

[-find ... ...]

[-get [-f] [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]                                  顯示許可權資訊

[-getfattr [-r] [-e en] ]          顯示其他資訊

[-getmerge [-nl] [-skip-empty-file] ]   合併

[-head ]                                          顯示頭部

[-help [cmd ...]]       幫助

[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [-e] [...]]  

[-mkdir [-p] ...]                    建立資料夾

[-movefromlocal ... ]       從本地移動

[-movetolocal ]             移動到本地

[-mv ... ]                       內部移動/改名

[-put [-f] [-p] [-l] [-d] ... ]         上傳

[-renamesnapshot ]     重全名快照

[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]     刪除

[-rmdir [--ignore-fail-on-non-empty] ...]         刪除資料夾

[-setfacl [-r] [ ]|[--set ]]       設定許可權(同linux 的chmod)

[-setfattr ]

[-setrep [-r] [-w] ...]          修改副本數      

[-stat [format] ...]                  顯示檔案統計資訊

[-tail [-f] [-s ] ]    結尾資訊(1k的資料)

[-test -[defswrz] ]   測試 (e:判斷檔案是否存在 z:長度是否為0 d:是否是目錄)

[-text [-ignorecrc] ...]          檢視

[-touch [-a] [-m] [-t timestamp ] [-c] ...]  建立檔案

[-touchz ...]                    建立乙個大小為0的檔案(touch zero)

[-truncate [-w] ...]

[-usage [cmd ...]]

-put  將本地檔案或目錄上傳到hdfs中的路徑  hdfs dfs -put < localsrc> … < dst>

-get  將檔案或目錄從hdfs中的路徑拷貝到本地檔案路徑  hdfs dfs -get [-ignorecrc] [-crc] < src> < localdst>  選項:-ignorecrc選項複製crc校驗失敗的檔案。-crc選項複製檔案和crc。

-du  

顯示給定目錄中包含的檔案和目錄的大小或檔案的長度,用位元組大小表示。  hdfs dfs -du [-s] [-h] uri [uri …]  選項:-s選項將顯示檔案長度的彙總摘要,而不是單個檔案。-h選項將以「人可讀」的方式格式化檔案大小(例如64.0m而不是67108864);第一列標示該目錄下總檔案大小,第二列標示該目錄下所有檔案在集群上的總儲存大小和你的副本數相關(第二列內容=檔案大小*副本數),第三列標示你查詢的目錄

-mv  在hdfs檔案系統中,將檔案或目錄從hdfs的源路徑移動到目標路徑。不允許跨檔案系統移動檔案。

-cp  在hdfs檔案系統中,將檔案或目錄複製到目標路徑下  hdfs dfs -cp [-f] [-p | -p [topax] ] uri [ uri …] < dest>   選項:-f選項覆蓋已經存在的目標。-p選項將保留檔案屬性[topx](時間戳,所有權,許可權,acl,xattr)。如果指定了-p且沒有arg,則保留時間戳,所有權和許可權。如果指定了-pa,則還保留許可權,因為acl是一組超級許可權。確定是否保留原始命名空間擴充套件屬性與-p標誌無關。

-copyfromlocal  從本地複製檔案到hdfs檔案系統(與-put命令相似)  hdfs dfs -copyfromlocal < localsrc> uri  選項:如果目標已存在,則-f選項將覆蓋目標。

-copytolocal  複製hdfs檔案系統中的檔案到本地 (與-get命令相似)  hdfs dfs -copytolocal [-ignorecrc] [-crc] uri < localdst>  

-cat  顯示檔案內容到標準輸出上。  hdfs dfs -cat uri [uri …]

-text  獲取原始檔並以文字格式輸出檔案。允許的格式為zip和textrecordinputstream。  hdfs dfs -text

-touchz  建立乙個零長度的檔案。  hdfs dfs -touchz uri [uri …]

-stat  顯示檔案所佔塊數(%b),檔名(%n),塊大小(%n),複製數(%r),修改時間(%y%y)  hdfs dfs -stat uri [uri …]

-tail  顯示檔案的最後1kb內容到標準輸出  hdfs dfs -tail [-f] uri  選項:  -f選項將在檔案增長時輸出附加資料,如在unix中一樣。

-count  統計與指定檔案模式匹配的路徑下的目錄,檔案和位元組數  hdfs dfs -count [-q] [-h] < paths>

-getmerge  將源目錄和目標檔案作為輸入,並將src中的檔案連線到目標本地檔案(把兩個檔案的內容合併起來)  hdfs dfs -getmerge < src> < localdst> [addnl]   注:合併後的檔案位於當前目錄,不在hdfs中,是本地檔案

-grep  從hdfs上過濾包含某個字元的行內容  hdfs dfs -cat < srcpath> | grep 過濾字段

-chown  hdfs上檔案許可權修改  hadoop fs -chown [-r] [owner][:[group]] uri [uri ]#修改檔案的所有者   例如:hdfs dfs -chown -r administrator:administrator /user/  

-distcp  最常用在集群之間的拷貝:

hadoop distcp hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo

Hadoop hdfs dfs常用命令的使用

建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。ls 檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳到h...

Hadoop hdfs dfs常用命令的使用

用法 建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。ls檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳...

Hadoop hdfs dfs常用命令的使用

用法 建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳到h...