1，hadoop fs –fs [local | ]：宣告hadoop使用的檔案系統，如果不宣告的話，使用當前配置檔案配置的，按如下順序查詢：hadoop jar裡的hadoop-default.xml->$hadoop_conf_dir下的hadoop-default.xml->$hadoop_conf_dir下的hadoop-site.xml。使用local代表將本地檔案系統作為hadoop的dfs。如果傳遞uri做引數，那麼就是特定的檔案系統作為dfs。
2，hadoop fs –ls ：等同於本地系統的ls，列出在指定目錄下的檔案內容，支援pattern匹配。輸出格式如filename(full path) size.其中n代表replica的個數，size代表大小（單位bytes）。
3，hadoop fs –lsr ：遞迴列出匹配pattern的檔案資訊，類似ls，只不過遞迴列出所有子目錄資訊。
4，hadoop fs –du ：列出匹配pattern的指定的檔案系統空間總量（單位bytes），等價於unix下的針對目錄的du –sb /*和針對檔案的du –b ，輸出格式如name(full path) size(in bytes)。
5，hadoop fs –dus ：等價於-du，輸出格式也相同，只不過等價於unix的du -sb。
6，hadoop fs –mv ：將制定格式的檔案 move到指定的目標位置。當src為多個檔案時，dst必須是個目錄。
7，hadoop fs –cp ：拷貝檔案到目標位置，當src為多個檔案時，dst必須是個目錄。
8，hadoop fs –rm [-skiptrash] ：刪除匹配pattern的指定檔案，等價於unix下的rm 。
9，hadoop fs –rmr [skiptrash] ：遞迴刪掉所有的檔案和目錄，等價於unix下的rm –rf 。
10，hadoop fs –rmi [skiptrash] ：等價於unix的rm –rfi 。
11，hadoop fs –put … ：從本地系統拷貝檔案到dfs。
12，hadoop fs –copyfromlocal … ：等價於-put。
13，hadoop fs –movefromlocal … ：等同於-put，只不過原始檔在拷貝後被刪除。
14，hadoop fs –get [-ignorecrc] [-crc] ：從dfs拷貝檔案到本地檔案系統，檔案匹配pattern，若是多個檔案，則dst必須是目錄。
15，hadoop fs –getmerge ：顧名思義，從dfs拷貝多個檔案、合併排序為乙個檔案到本地檔案系統。
16，hadoop fs –cat ：展示檔案內容。
17，hadoop fs –copytolocal [-ignorecrc] [-crc] ：等價於-get。
18，hadoop fs –mkdir ：在指定位置建立目錄。
19，hadoop fs –setrep [-r] [-w] ：設定檔案的備份級別，-r標誌控制是否遞迴設定子目錄及檔案。
20，hadoop fs –chmod [-r] path…：修改檔案的許可權，-r標記遞迴修改。mode為a+r,g-w,+rwx等，octalmode為755這樣。
21，hadoop fs -chown [-r] [owner][:[group]] path…：修改檔案的所有者和組。-r表示遞迴。
22，hadoop fs -chgrp [-r] group path…：等價於-chown … :group …。
23，hadoop fs –count[-q] ：計數檔案個數及所佔空間的詳情，輸出**的列的含義依次為：dir_count,file_count,content_size,file_name或者如果加了-q的話，還會列出quota,remaining_quota,space_quota,remaining_space_quota。
hadoop之hadoop基礎介紹
hadoop是什麼？是乙個分布式基礎架構，主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本？apache clourdera hortonworks hadoop優勢？高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別？hdfs hadoop distributed...
hadoop 開發基礎
目錄 rz的使用 vi 快捷鍵 檔案許可權的操作 配置免密碼登陸 後台服務管理 iptable 防火牆 linux 中的軟體安裝 本地yum安裝倉庫配置 檔案上傳到linux 是上傳到當前目錄所在的資料夾 yum list grep lrzsz sudo yum y install lrzsz.x8...
Hadoop基礎概念
狹義 hadoop軟體 hadoop.apache.org 廣義 hadoop生態圈 hive zookeeper spark 用2.x 3.x 需要踩坑 主要用cdh5.x 部署大資料環境 用的是 hadoop2.6.0 cdh5.7.0 ctrl f 搜尋 cdh5.7.0 hdfs 儲存 分布...