HDFS的shell 命令列客戶端 操作

2021-07-29 21:00:24 字數 3491 閱讀 7039

[-cat [-ignorecrc] ...]

[-checksum ...]

[-chgrp [-r] group path...]

[-chmod [-r] path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] ... ]

[-copytolocal [-p] [-ignorecrc] [-crc] ... ]

[-count [-q] ...]

[-cp [-f] [-p] ... ]

[-createsnapshot ]

[-deletesnapshot ]

[-df [-h] [...]]

[-du [-s] [-h] ...]

[-expunge]

[-get [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]

[-getmerge [-nl] ]

[-help [cmd ...]]

[-ls [-d] [-h] [-r] [...]]

[-mkdir [-p] ...]

[-movefromlocal ... ]

[-movetolocal ]

[-mv ... ]

[-put [-f] [-p] ... ]

[-renamesnapshot ]

[-rm [-f] [-r|-r] [-skiptrash] ...]

[-rmdir [--ignore-fail-on-non-empty] ...]

[-setfacl [-r] [ ]|[--set ]]

[-setrep [-r] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc] ...]

[-touchz ...]

[-usage [cmd ...]]

命令引數介紹

-help             

功能:輸出這個命令引數手冊

-ls

功能:顯示目錄資訊

示例: hadoop fs -ls hdfs://hadoop-server01:9000/

備註:這些引數中,所有的hdfs路徑都可以簡寫

-->hadoop fs -ls / 等同於上一條命令的效果

-mkdir

功能:在hdfs上建立目錄

示例:hadoop fs -mkdir -p /aaa/bbb/cc/dd

-movefromlocal

功能:從本地剪下貼上到hdfs

示例:hadoop fs - movefromlocal /home/hadoop/a.txt /aaa/bbb/cc/dd

-movetolocal

功能:從hdfs剪下貼上到本地

示例:hadoop fs - movetolocal /aaa/bbb/cc/dd /home/hadoop/a.txt

功能:追加乙個檔案到已經存在的檔案末尾

可以簡寫為:

-cat

功能:顯示檔案內容

示例:hadoop fs -cat /hello.txt

-tail

功能:顯示乙個檔案的末尾

示例:hadoop fs -tail /weblog/access_log.1

-text

功能:以字元形式列印乙個檔案的內容

示例:hadoop fs -text /weblog/access_log.1

-chgrp

-chmod

-chown

功能:linux檔案系統中的用法一樣,對檔案所屬許可權

示例:hadoop fs -chmod 666 /hello.txt

hadoop fs -chown someuser:somegrp /hello.txt

-copyfromlocal

功能:從本地檔案系統中拷貝檔案到hdfs路徑去

示例:hadoop fs -copyfromlocal ./jdk.tar.gz /aaa/

-copytolocal

功能:從hdfs拷貝到本地

示例:hadoop fs -copytolocal /aaa/jdk.tar.gz

-cp

功能:從hdfs的乙個路徑拷貝hdfs的另乙個路徑

示例: hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-mv

功能:在hdfs目錄中移動檔案

示例: hadoop fs -mv /aaa/jdk.tar.gz /

-get

示例:hadoop fs -get /aaa/jdk.tar.gz

-getmerge

示例:比如hdfs的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

-put

功能:等同於copyfromlocal

示例:hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-rm

功能:刪除檔案或資料夾

示例:hadoop fs -rm -r /aaa/bbb/

-rmdir

功能:刪除空目錄

示例:hadoop fs -rmdir /aaa/bbb/ccc

-df

功能:統計檔案系統的可用空間資訊

示例:hadoop fs -df -h /

-du

功能:統計資料夾的大小資訊

示例:hadoop fs -du -s -h /aaa/*

-count

功能:統計乙個指定目錄下的檔案節點數量

示例:hadoop fs -count /aaa/

-setrep

功能:設定hdfs中檔案的副本數量

示例:hadoop fs -setrep 3 /aaa/jdk.tar.gz

《這裡設定的副本數只是記錄在namenode的元資料中,是否真的會有這麼多副本,還得看datanode的數量》

常用 HDFS的Shell 命令列客戶端 操作

2 常用命令 hadoop 安裝目錄 bin 目錄下的 hadoop 指令碼是最基礎的集群管理指令碼,使用者可以通過該指令碼完成各種功能,如 hdfs 檔案管理 mapreduce 作業管理等。hadoop fs mkdir user test 建立hdfs目錄 user test hadoop f...

Hadoop之hdfs命令列客戶端的常用操作命令

檢視hdfs中的目錄資訊 hadoop fs ls hdfs路徑 hadoop fs ls 建立資料夾 hadoop fs mkdir hdfs路徑 hadoop fs mkdir aaa 移動檔案或重新命名 hadoop fs mkdir hdfs路徑 hdfs路徑 hadoop fs mv aa...

HDFS的命令列客戶端常用命令

1.檢視hdfs中的目錄資訊 hadoop fs ls hdfs路徑 2.上傳檔案到hdfs中 hadoop fs put 本地檔案 aaa 本地檔案 hdfs路徑 copyfromlocal等價於 put hadoop fs movefromlocal 本地檔案 hdfs路徑 跟copyfroml...