5 命令列操作HDFS

2021-09-10 02:12:20 字數 2978 閱讀 1366

hadoop fs 具體命令

hadoop fs

[-cat [-ignorecrc] ...]

[-checksum ...]

[-chgrp [-r] group path...]

[-chmod [-r] path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] [-l] [-d] ... ]

[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]

[-count [-q] [-h] [-v] [-t ] [-u] [-x] ...]

[-cp [-f] [-p | -p[topax]] [-d] ... ]

[-createsnapshot ]

[-deletesnapshot ]

[-df [-h] [...]]

[-du [-s] [-h] [-x] ...]

[-expunge]

[-find ... ...]

[-get [-f] [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]

[-getfattr [-r] [-e en] ]

[-getmerge [-nl] [-skip-empty-file] ]

[-help [cmd ...]]

[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [...]]

[-mkdir [-p] ...]

[-movefromlocal ... ]

[-movetolocal ]

[-mv ... ]

[-put [-f] [-p] [-l] [-d] ... ]

[-renamesnapshot ]

[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]

[-rmdir [--ignore-fail-on-non-empty] ...]

[-setfacl [-r] [ ]|[--set ]]

[-setfattr ]

[-setrep [-r] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc] ...]

[-touchz ...]

[-truncate [-w] ...]

[-usage [cmd ...]]

-help,輸出這個命令引數

hadoop fs -help ls

-ls,顯示目錄資訊

hadoop fs -ls /

-mkdir,在hdfs上建立目錄

hadoop fs -mkdir -p /user/hadoop/test

-movefromlocal,從本地剪下貼上到hdfs

hadoop fs -movefromlocal hello.txt /user/hadoop/test

-cat,顯示檔案內容

hadoop fs -cat /user/hadoop/test/hello.txt

-tail,顯示乙個檔案的末尾

hadoop fs -tail /user/hadoop/test/hello.txt

-chgrp、-chmod、-chown,同linux檔案系統中的用法一樣,修改檔案所屬許可權

-copyfromlocal,從本地檔案系統中拷貝檔案到hdfs路徑去

hadoop fs -copyfromlocal test.txt /user/hadoop/test/

-copytolocal,從hdfs拷貝檔案到本地

hadoop fs -copytolocal /user/hadoop/test/hello.txt hdfshello.txt

-cp,從hdfs的乙個路徑拷貝到hdfs的另乙個路徑

hadoop fs -cp /user/hadoop/test/hello.txt /user/hadoop/test/cphello.txt

-mv,在hdfs目錄中移動檔案

hadoop fs -mv /user/hadoop/hello.txt /user/hadoop/test/mvhello.txt

-put,等同於copyfromlocal

hadoop fs -put /user/hadoop/test/hello.txt hdfshello.txt

-rm,刪除檔案或資料夾

hadoop fs -rm -r /user/hadoop/test/

hadoop fs -rm /user/hadoop/hadoop-2.8.3.tar.gz

-rmdir,刪除空目錄

hadoop fs -rmdir /user/hadoop/

-du,統計資料夾的大小資訊

hadoop du命令.png

-setrep,設定hdfs中檔案的副本數量

這裡設定的副本數只是記錄在namenode的元資料中,是否真的會有這麼多副本,還得看datanode的數量。因為目前只有3臺裝置,最多也就3個副本,只有節點數的增加到10台時,副本數才能達到10。

HDFS命令列操作

1 基本語法 bin hadoop fs 具體命令2 常用操作 1 help 輸出這個命令引數 bin hdfs dfs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p aaa bbb ccc ddd 4 m...

hdfs 指令 HDFS命令列操作

本節將講解hdfs中,常見的命令列操作。hdfs與我們傳統的檔案系統類似,都可以儲存檔案,檢視檔案的內容,刪除檔案,並且檔案也有著許可權的概念。事實上,hdfs也借鑑了linux檔案系統的目錄樹結構和許可權系統。一 基本操作 1 建立目錄hadoop fs mkdir hdfs 在根目錄下建立hdf...

HDFS檔案操作 命令列

haddop fs ls 查詢目錄 hadoop fs mkdir test 在根目錄下建立乙個目錄test hadoop fs put test.txt test 將本地的test.txt檔案上傳到hdfs根目錄下的test資料夾中去 hadoop fs copyfromlocal test.tx...