fs( file system)shell 命令格式:
bin/hadoop fs [ cmd]當使用hdfs(distributed file system),等價使用如下命令格式
bin/hdfs dfs [ cmd ]< localsrc > … < dst>
可同時上傳多個檔案到hdfs裡面
2hdfs dfs -caturi [uri …]
檢視檔案內容
3 hdfs dfs -chgrp [-r] group uri [uri …]
修改檔案所屬組
4 hdfs dfs -chmod [-r] < mode[,mode]… | octalmode> uri [uri …]
修改檔案許可權
5 hdfs dfs -chown [-r] [owner][:[group]] uri [uri ]
修改檔案所有者,檔案所屬組,其他使用者的讀、寫、執行許可權
6 hdfs dfs -copyfromlocal uri
複製檔案到hdfs
7 hdfs dfs -copytolocal [-ignorecrc] [-crc] uri
複製檔案到本地
8 hdfs dfs -count [-q]
統計檔案及資料夾數目
9 hdfs dfs -cp [-f] uri [uri …]
hadoop hdfs 檔案系統間的檔案複製
10 hdfs dfs -du [-s] [-h] uri [uri …]
統計目錄下的檔案及大小
11 hdfs dfs -dus
彙總目錄下的檔案總大小
12 hdfs dfs -expunge
清空**站,檔案被刪除時,它首先會移到臨時目錄.trash/中,當超過延遲時間之後,檔案才會被永久刪除
13 hdfs dfs -get [-ignorecrc] [-crc]
14 hdfs dfs -getfacl [-r]
檢視acl (訪問許可權組擁有者)
15 hdfs dfs -getmerge [addnl]
16 hdfs dfs -ls
檢視目錄
17 hdfs dfs -lsr
迴圈列出目錄、子目錄及檔案資訊
18 hdfs dfs -mkdir [-p]
建立空白資料夾
19 dfs -movefromlocal
剪下檔案到hdfs
20 hdfs dfs -movetolocal [-crc]
剪下檔案到本地
21 hdfs dfs -mv uri [uri …]
剪下hdfs檔案
22 hdfs dfs -put …
上傳檔案
23 hdfs dfs -rm [-skiptrash] uri [uri …]
刪除檔案/空白資料夾
24 hdfs dfs -rmr [-skiptrash] uri [uri …]
遞迴刪除 刪除檔案及資料夾下的所有檔案
hdfs常用shell命令
1.sh hadoop fs put soft offlineprocess custom.xml user oozie 將 soft offlineprocess 下的custom.xml 檔案,拷貝到hdfs的 user oozie 目錄下。2.sh hadoop rmr user oozie ...
hdfs常用shell命令
基於ubuntu下hadoop偽分布式操作指令。將hdfs檔案系統下所有檔案以級聯的形式顯示出來。hdfs dfs ls r 一次性建立乙個 資料夾。hdfs dfs mkdir p folder1 folder2 folder3在folder1 folder2 folder3目錄下建立乙個temp...
HDFS常用shell命令
1 檢視所有命令 hdfs dfs 2 檢視某目錄下檔案列表 hdfs dfs ls tmp hdfs dfs cat tmp index.html 4 在hdfs 中建立job 目錄 hdfs dfs mkdir tmp info 遞迴建立目錄 hdfs dfs mkdir p tmp work ...