Hadoop fs常用命令

1，hadoop fs –fs [local | ]：宣告hadoop使用的檔案系統，如果不宣告的話，使用當前配置檔案配置的，按如下順序查詢：hadoop jar裡的hadoop-default.xml->$hadoop_conf_dir下的hadoop-default.xml->$hadoop_conf_dir下的hadoop-site.xml。使用local代表將本地檔案系統作為hadoop的dfs。如果傳遞uri做引數，那麼就是特定的檔案系統作為dfs。

2，hadoop fs –ls ：等同於本地系統的ls，列出在指定目錄下的檔案內容，支援pattern匹配。輸出格式如filename(full path) size.其中n代表replica的個數，size代表大小（單位bytes）。

3，hadoop fs –lsr ：遞迴列出匹配pattern的檔案資訊，類似ls，只不過遞迴列出所有子目錄資訊。

4，hadoop fs –du ：列出匹配pattern的指定的檔案系統空間總量（單位bytes），等價於unix下的針對目錄的du –sb /*和針對檔案的du –b ，輸出格式如name(full path) size(in bytes)。

5，hadoop fs –dus ：等價於-du，輸出格式也相同，只不過等價於unix的du -sb。

6，hadoop fs –mv ：將制定格式的檔案 move到指定的目標位置。當src為多個檔案時，dst必須是個目錄。

7，hadoop fs –cp ：拷貝檔案到目標位置，當src為多個檔案時，dst必須是個目錄。

8，hadoop fs –rm [-skiptrash] ：刪除匹配pattern的指定檔案，等價於unix下的rm 。

9，hadoop fs –rmr [skiptrash] ：遞迴刪掉所有的檔案和目錄，等價於unix下的rm –rf 。

10，hadoop fs –rmi [skiptrash] ：等價於unix的rm –rfi 。

11，hadoop fs –put … ：從本地系統拷貝檔案到dfs。

12，hadoop fs –copyfromlocal … ：等價於-put。

13，hadoop fs –movefromlocal … ：等同於-put，只不過原始檔在拷貝後被刪除。

14，hadoop fs –get [-ignorecrc] [-crc] ：從dfs拷貝檔案到本地檔案系統，檔案匹配pattern，若是多個檔案，則dst必須是目錄。

15，hadoop fs –getmerge ：顧名思義，從dfs拷貝多個檔案、合併排序為乙個檔案到本地檔案系統。

16，hadoop fs –cat ：展示檔案內容。

17，hadoop fs –copytolocal [-ignorecrc] [-crc] ：等價於-get。

18，hadoop fs –mkdir ：在指定位置建立目錄。

19，hadoop fs –setrep [-r] [-w] ：設定檔案的備份級別，-r標誌控制是否遞迴設定子目錄及檔案。

20，hadoop fs –chmod [-r] path…：修改檔案的許可權，-r標記遞迴修改。mode為a+r,g-w,+rwx等，octalmode為755這樣。

21，hadoop fs -chown [-r] [owner][:[group]] path…：修改檔案的所有者和組。-r表示遞迴。

22，hadoop fs -chgrp [-r] group path…：等價於-chown … :group …。

23，hadoop fs –count[-q] ：計數檔案個數及所佔空間的詳情，輸出**的列的含義依次為：dir_count,file_count,content_size,file_name或者如果加了-q的話，還會列出quota,remaining_quota,space_quota,remaining_space_quota。

Hadoop fs常用命令

Hadoop fs常用命令

Hadoop fs 常用命令

Hadoop fs必需要記住的常用命令

Hadoop fs常用命令

Hadoop fs常用命令

Hadoop fs 常用命令

Hadoop fs必需要記住的常用命令

相關推薦