收藏 hadoop hdfs命令

2021-09-01 13:39:39 字數 4857 閱讀 2845

cat

使用方法:hadoop fs -cat uri [uri …]

將路 徑指定檔案的內容輸出到stdout。

示 例:

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

hadoop fs -cat file:///file3 /user/hadoop/file4

返回值:

成功返回0,失敗返回-1。

chgrp

使用方法:hadoop fs -chgrp [-r] group uri [uri …]

改變檔案所屬的組。使用-r將使改變在目錄結構下遞迴進行。

命令的使用者必須是檔案的所有者或者超級使用者。

更多的資訊請參見hdfs許可權使用者指南。

chmod

使用方法:hadoop fs -chmod [-r] uri [uri …]

改變 檔案的許可權。使用-r將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超 級使用者。

更多的資訊請參見hdfs權 限使用者指南。

chown

使用方法:hadoop fs -chown [-r] [owner][:[group]] uri [uri ]

改變 檔案的擁有者。使用-r將使改變在目錄結構下遞迴進行。命令的使用 者必須是超級使用者。

更多的資訊請參見hdfs許可權使用者指南。

copyfromlocal

使用方法:hadoop fs -copyfromlocal uri

除了限定源路徑是乙個本地檔案外,和put命令相似。

copytolocal

使用方法:hadoop fs -copytolocal [-ignorecrc] [-crc] uri

除了限定目標路徑是乙個本地檔案外,和get命令類似。

cp使用方法:hadoop fs -cp uri [uri …]

將文 件從源路徑複製到目標路徑。這個命令允許有多個源路徑,此時目標路徑必須是乙個目錄。

示例:hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值:

成功返回0,失敗返回-1。

du使用方法:hadoop fs -du uri [uri …]

顯示目錄中所有檔案的大小,或者當只指定乙個檔案時,顯示此檔案的大小。示例:

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

返回值:

成功返回0,失敗返回-1。

dus使用方法:hadoop fs -dus

顯示檔案的大小。

expunge

使用方法:hadoop fs -expunge

清空 **站。請參考hdfs設計文件以獲取更多關於**站特性的資訊。

get使用方法:hadoop fs -get [-ignorecrc] [-crc]

複製 檔案到本地檔案系統。可用-ignorecrc選項複製crc校驗失敗的檔案。使用-crc選項複製檔案以及crc資訊。

示例:hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回 值:

成功返回0, 失敗返回-1。

getmerge

使用方法:hadoop fs -getmerge [addnl]

接受 乙個源目錄和乙個目標檔案作為輸入,並且將源目錄中所有的檔案連線成本地目標檔案。

addnl是 可選的,用於指定在每個檔案結尾新增乙個換行符。

ls使用方法:hadoop fs -ls

如果 是檔案,則按照如下格式返回檔案資訊:

檔名 《副 本數》 文 件大小 修改日期 修 改時間 許可權 用 戶id 組id

如果 是目錄,則返回它直接子檔案的乙個列表,就像在unix中一 樣。目錄返回列表的資訊如下:

目錄名 修改日期 修 改時間 許可權 用 戶id 組id

示例:hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

返回 值:

成功返回0,失敗返回-1。

lsr使用方法:hadoop fs -lsr

ls命令的遞迴版本。類似於unix中的ls -r。

mkdir

使用方法:hadoop fs -mkdir

接受 路徑指定的uri作為引數,建立這些目錄。其行為類似於unix的mkdir -p,它 會建立路徑中的各級父目錄。

示 例:

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

返回 值:

成功返回0, 失敗返回-1。

movefromlocal

使用方法:dfs -movefromlocal

輸出 乙個"not implemented"資訊。

mv使用方法:hadoop fs -mv uri [uri …]

將文 件從源路徑移動到目標路徑。這個命令允許有多個源路徑,此時目標路徑必須是乙個目錄。

不允許在不同的檔案系統間移動檔案。不支援資料夾重命令。

示 例:

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

返回 值:

成功返回0,失敗返回-1。

put使用方法:hadoop fs -put ...

從本 地檔案系統中複製單個或多個源路徑到目標檔案系統。也支援從標準輸入中讀取輸入寫入目標檔案系統。

hadoop fs -put localfile /user/hadoop/hadoopfile

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

從 標準輸入中讀取輸入。

返回值:

成功返回0, 失敗返回-1。

rm使用方法:hadoop fs -rm uri [uri …]

刪除 指定的檔案。只刪除非空目錄和檔案。請參考rmr命令了解遞迴刪除。

示 例:

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

返回 值:

成功返回0, 失敗返回-1。

rmr使用方法:hadoop fs -rmr uri [uri …]

delete的遞迴版本。

示 例:

hadoop fs -rmr /user/hadoop/dir

hadoop fs -rmr hdfs://host:port/user/hadoop/dir

返回值:

成功返回0, 失敗返回-1。

setrep

使用方法:hadoop fs -setrep [-r]

改變 乙個檔案的副本係數。-r選項用於遞迴改變目錄下所有檔案的副本係數。

示 例:

hadoop fs -setrep -w 3 -r /user/hadoop/dir1

返回 值:

成功返回0, 失敗返回-1。

stat

使用方法:hadoop fs -stat uri [uri …]

返回 指定路徑的統計資訊。

示 例:

hadoop fs -stat path

返回 值:

成功返回0, 失敗返回-1。

tail

使用方法:hadoop fs -tail [-f] uri

將文 件尾部1k位元組的內容輸出到stdout。支援-f選 項,行為和unix中一致。

示 例:

hadoop fs -tail pathname

返回 值:

成 功返回0, 失敗返回-1。

test

使用方法:hadoop fs -test -[ezd] uri

選 項:

-e 檢查檔案是否存在。如果存在則返回0。

-z 檢查檔案是否是0字 節。如果是則返回0。

-d 如果路徑是個目錄,則返回1,否則返回0。

示 例:

hadoop fs -test -e filename

text

使用方法:hadoop fs -text

將源 檔案輸出為文字格式。允許的格式是zip和textrecordinputstream。

touchz

使用方法:hadoop fs -touchz uri [uri …]

建立 乙個0位元組的空檔案。

示 例:

hadoop -touchz pathname

返回 值:

成 功返回0, 失敗返回-1。

Hadoop HDFS操作命令

1 檢視hadoop hdfs支援的所有命令hadoop fs2 列出目錄及檔案資訊hadoop fs ls3 迴圈列出目錄 子目錄及檔案資訊hadoop fs lsr4 將本地檔案系統的test.txt複製到hdfs檔案系統的 user sunlightcs目錄下hadoop fs put tes...

hadoop hdfs基礎命令

hadopp hdfs元件基礎命令 首行預設 hadoop fs 選項名稱 使用格式 含義 ls ls 路徑 檢視指定路徑的當前目錄結構 lsr lsr 路徑 遞迴檢視指定路徑的目錄結構 du du 路徑 統計目錄下個檔案大小 dus dus 路徑 匯 計目錄下檔案 夾 大小 count count...

hadoop hdfs 命令大全

選項名稱 使用格式 含義 ls ls 路徑 檢視指定路徑的當前目錄結構 lsr lsr 路徑 遞迴檢視指定路徑的目錄結構 du du 路徑 統計目錄下個檔案大小 dus dus 路徑 匯 計目錄下檔案 夾 大小 count count q 路徑 統計檔案 夾 數量 mv mv 源路徑 目的路徑 移動...