Hadoop HDFS操作命令

2021-08-06 01:53:49 字數 1987 閱讀 8662

1、檢視hadoop hdfs支援的所有命令

hadoop fs
2、列出目錄及檔案資訊
hadoop fs -ls
3、迴圈列出目錄、子目錄及檔案資訊
hadoop fs -lsr
4、將本地檔案系統的test.txt複製到hdfs檔案系統的/user/sunlightcs目錄下
hadoop fs -put test.txt /user/sunlightcs
5、將hdfs中的test.txt複製到本地檔案系統中，與-put命令相反
hadoop fs -get /user/sunlightcs/test.txt
6、檢視hdfs檔案系統裡test.txt的內容
hadoop fs -cat /user/sunlightcs/test.txt
7、檢視最後1kb的內容
hadoop fs -tail /user/sunlightcs/test.txt
8、從hdfs檔案系統刪除test.txt檔案，rm命令也可以刪除空目錄
hadoop fs -rm /user/sunlightcs/test.txt
9、刪除/user/sunlightcs目錄以及所有子目錄
hadoop fs -rmr /user/sunlightcs
10、從本地檔案系統複製檔案到hdfs檔案系統，等同於put命令
hadoop fs -copyfromlocal test.txt /user/sunlightcs/test.txt
11、從hdfs檔案系統複製檔案到本地檔案系統，等同於get命令
hadoop fs -copytolocal /user/sunlightcs/test.txt test.txt
12、修改hdfs系統中/user/sunlightcs目錄所屬群組，選項-r遞迴執行，跟linux命令一樣
hadoop fs -chgrp[-r


]/user/sunlightcs
13、修改hdfs系統中/user/sunlightcs目錄擁有者，選項-r遞迴執行
hadoop fs -chown[-r


]/user/sunlightcs
14、修改hdfs系統中/user/sunlightcs目錄許可權，mode可以為相應許可權的3位數或+/-，選項-r遞迴執行
hadoop fs -chmod[-r


]mode /user/sunlightcs
15、檢視path目錄下，子目錄數、檔案數、檔案大小、檔名/目錄名
hadoop fs -count[-q


]path
16、將檔案從src複製到dst，如果指定了多個src，則dst必須為乙個目錄
hadoop


fs-cp


src[src …]


dst
17、顯示該目錄中每個檔案或目錄的大小
hadoop fs -du path
18、類似於du，path為目錄時，會顯示該目錄的總大小
hadoop fs -dus path
19、清空**站，檔案被刪除時，它首先會移到臨時目錄.trash/中，當超過延遲時間之後，檔案才會被永久刪除
hadoop fs -expunge
20、獲取由src指定的所有檔案，將它們合併為單個檔案，並寫入本地檔案系統中的localdst，選項addnl將在每個檔案的末尾處加上乙個換行符
hadoop


fs-getmerge


src[src …]


localdst


[addnl]
21、檢視某個[ls]命令的幫助文件
hadoop fs -help


ls

hadoop hdfs檔案操作命令

建立hdfs資料夾 建立資料夾ethan hadoop fs mkdir user recsys ethan授權hdfs檔案 改變檔案許可權 hadoop fs chmod a r user recsys ethan test.txt檢視hdfs檔案 資料夾 檢視資料夾ethan下的所有檔案目錄 h...

hadoop HDFS常用檔案操作命令

hdfs dfs 與 hadoop fs 效果一樣 1.put從本地載入檔案到hdfs 基本語法 localfile hdfs file hdfs file的父目錄一定要存在，否則命令不會執行 localfileordir hdfs dir hdfs dir 一定要存在，否則命令不會執行 從鍵盤讀取...

Hadoop HDFS常用檔案操作命令

呼叫檔案系統 fs shell命令應用 bin hadoop fs 的形式。可以將hadoop的bin目錄配置環境變數 所有的的fs shell命令使用uri路徑作為引數.uri格式是scheme 許可權 路徑。對hdfs檔案系統，方案是hdfs，對本地檔案系統，scheme是file。其中sche...