HDFS基本命令

hadoop的基本命令與linux命令很相似，這裡列舉一下基本的hdfs命令。

命令基本格式：

hadoop fs -cmd < args >

但建議使用以下格式：

hdfs dfs -cmd < args >

1、ls

列出hdfs檔案系統根目錄下的目錄和檔案：

hadoop fs -ls  /

列出hdfs檔案系統所有的目錄和檔案：

hadoop fs -ls

-r/

注：「/」可以是任意檔案路徑經。

2、put

格式為：

hadoop fs -put
< local
file > < hdfs file >

注：hdfs dir 一定要存在，否則命令不會執行

從鍵盤讀取輸入到hdfs file中，按ctrl+d結束輸入，hdfs file不能存在，否則命令不會執行

hadoop fs -put - < hdsf file>

hadoop fs -put data.txt /sparktestdata #將data.txt檔案放到sparktestdata中

2.1.movefromlocal

hadoop fs -movefromlocal  < local src > ...
< hdfs dst >

注：與put相類似，命令執行後原始檔 local src 被刪除，也可以從從鍵盤讀取輸入到hdfs file中

2.2.copyfromlocal

hadoop fs -copyfromlocal  < local src > ...
< hdfs dst >

注：與put相類似，也可以從從鍵盤讀取輸入到hdfs file中

3.get

hadoop fs -get
< hdfs file > < local
file
or dir>

注：local file不能和 hdfs file名字相同，否則會提示檔案已存在，沒有重名的檔案會複製到本地

hadoop fs -get < hdfs file or dir > ...
< local  dir >

拷貝多個檔案或目錄到本地時，本地要為資料夾路徑

注意：如果使用者不是root， local 路徑要為使用者資料夾下的路徑，否則會出現許可權問題

3.1、copytolocal

hadoop fs -copytolocal < local src > ...
< hdfs dst >

注：與get相類

4.rm

hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

注：每次可以刪除多個檔案或目錄

5.mkdir

hadoop fs -mkdir < hdfs
path>

注：只能一級一級的建目錄，父目錄不存在的話使用這個命令會報錯

hadoop fs -mkdir
-p< hdfs path>

注：所建立的目錄如果父目錄不存在就建立該父目錄

如果不指明父級目錄，則預設在/user/hadoop/的父級目錄下建立資料夾，即如果使用如下命令

hadoop fs -mkdir sparktestdata

則系統在/user/hadoop/下建立sparktestdata資料夾

如若直接在集群建立資料夾，而不是在/user/hadoop/下建立，要帶上hdfs的埠，命令如下：

hadoop fs -mkdir hdfs://master:9000/sparktestdata

在hdfs上建立sparktestdata資料夾

6、cp

hadoop fs -cp  < hdfs
file >
< hdfs
file >

注：目標檔案不能存在，否則命令不能執行，相當於給檔案重新命名並儲存，原始檔還存在

7、mv

hadoop fs -mv < hdfs
file >
< hdfs
file >

注：目標檔案不能存在，否則命令不能執行，相當於給檔案重新命名並儲存，原始檔不存在

hadoop fs -mv  < hdfs file or dir >...
< hdfs dir >

注：源路徑有多個時，目標路徑必須為目錄，且必須存在。

注意：跨檔案系統的移動（local到hdfs或者反過來）都是不允許的

8、archive

hadoop archive -archivename name.har -p < hdfs
parent
dir >
< src >* < hdfs
dst >

命令中引數name：壓縮檔案名，自己任意取；< hdfs parent dir > ：壓縮檔案所在的父目錄；< src >：要壓縮的檔名；< hdfs dst >：壓縮檔案存放路徑

示例：hadoop archive -archivename hadoop.har -p /user 1.txt 2.txt /des

示例中將hdfs中/user目錄下的檔案1.txt，2.txt壓縮成乙個名叫hadoop.har的檔案存放在hdfs中/des目錄下，如果1.txt，2.txt不寫就是將/user目錄下所有的目錄和檔案壓縮成乙個名叫hadoop.har的檔案存放在hdfs中/des目錄下

顯示har的內容可以用如下命令：

hadoop fs -ls /des/hadoop.jar

顯示har壓縮的是那些檔案可以用如下命令

hadoop fs -ls

-r har:///des/hadoop.har

注意：har檔案不能進行二次壓縮。如果想給.har加檔案，只能找到原來的檔案，重新建立乙個。har檔案中原來檔案的資料並沒有變化，har檔案真正的作用是減少namenode和datanode過多的空間浪費。

注：本命令暫不齊全。

HDFS基本命令

HDFS基本命令

HDFS基本命令fs的使用操作

mysql基本命令總結 mysql基本命令總結

HDFS基本命令

HDFS基本命令

HDFS基本命令fs的使用操作

mysql基本命令總結 mysql基本命令總結

相關推薦