建立目錄
usage:hdfs dfs -mkdir [-p] < paths>
選項:-p
很像unix mkdir -p,沿路徑建立父目錄。
-ls
檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間
usage:hdfs dfs -ls [-r] < args>
選項:-r
遞迴地顯示子目錄下的內容
將本地檔案或目錄上傳到hdfs中的路徑
將檔案或目錄從hdfs中的路徑拷貝到本地檔案路徑
usage:hdfs dfs -get [-ignorecrc] [-crc] < src> < localdst>
選項:-ignorecrc選項複製crc校驗失敗的檔案。
-crc選項複製檔案和crc。
顯示給定目錄中包含的檔案和目錄的大小或檔案的長度,用位元組大小表示,檔名用完整的hdfs協議字首表示,以防它只是乙個檔案。
usage:hdfs dfs -du [-s] [-h] uri [uri …]
選項:-s選項將顯示檔案長度的彙總摘要,而不是單個檔案。
-h選項將以「人類可讀」的方式格式化檔案大小(例如64.0m而不是67108864)
顯示檔案長度的摘要。
usage:hdfs dfs -dus < args>
注意:不推薦使用此命令。而是使用hdfs dfs -du -s。
在hdfs檔案系統中,將檔案或目錄從hdfs的源路徑移動到目標路徑。不允許跨檔案系統移動檔案。
在hdfs檔案系統中,將檔案或目錄複製到目標路徑下
usage:hdfs dfs -cp [-f] [-p | -p [topax] ] uri [ uri …] < dest>
選項:-f選項覆蓋已經存在的目標。
-p選項將保留檔案屬性[topx](時間戳,所有權,許可權,acl,xattr)。如果指定了-p且沒有arg,則保留時間戳,所有權和許可權。如果指定了-pa,則還保留許可權,因為acl是一組超級許可權。確定是否保留原始命名空間擴充套件屬性與-p標誌無關。
從本地複製檔案到hdfs檔案系統(與-put命令相似)
usage: hdfs dfs -copyfromlocal < localsrc> uri
選項:如果目標已存在,則-f選項將覆蓋目標。
-copytolocal
複製hdfs檔案系統中的檔案到本地 (與-get命令相似)
usage: hdfs dfs -copytolocal [-ignorecrc] [-crc] uri < localdst>
-rm-cat
顯示檔案內容到標準輸出上。
獲取原始檔並以文字格式輸出檔案。允許的格式為zip和textrecordinputstream。
-touchz
建立乙個零長度的檔案。
usage:hdfs dfs -touchz uri [uri …]
-stat
顯示檔案所佔塊數(%b),檔名(%n),塊大小(%n),複製數(%r),修改時間(%y%y)。
usage:hdfs dfs -stat uri [uri …]
-tail
顯示檔案的最後1kb內容到標準輸出
usage:hdfs dfs -tail [-f] uri
選項:-f選項將在檔案增長時輸出附加資料,如在unix中一樣。
-count
統計與指定檔案模式匹配的路徑下的目錄,檔案和位元組數
usage: hdfs dfs -count [-q] [-h] < paths>
-getmerge
將源目錄和目標檔案作為輸入,並將src中的檔案連線到目標本地檔案(把兩個檔案的內容合併起來)
usage:hdfs dfs -getmerge < src> < localdst> [addnl]
注:合併後的檔案位於當前目錄,不在hdfs中,是本地檔案
-grep
從hdfs上過濾包含某個字元的行內容
usage:hdfs dfs -cat < srcpath> | grep 過濾字段
Hadoop hdfs dfs常用命令的使用
hadoop fs generic options cat ignorecrc 檢視 checksum v 校驗和 資料完整性校驗 chgrp r group path.修改所屬組 change group r表示遞迴 chmod r path.修改許可權 change mode r表示遞迴 cho...
Hadoop hdfs dfs常用命令的使用
用法 建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。ls檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳...
Hadoop hdfs dfs常用命令的使用
用法 建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳到h...