總體來說,hadoop的shell命令非常像linux系統的shell命令,這非常有利於熟悉linux的開發人員快速熟悉hadoop
啟動hdfs
./start-dfs.sh
檢視hdfs根目錄檔案
hadoop fs -ls hdfs:
也可以通過下面的命令
hadoop fs -ls /
上傳檔案
hadoop fs -copyfromlocal /root/install.log /in.log
檢視檔案數量
hadoop fs -count /
hadoop fs -get /in.log /home/ii.log
檢視檔案,以展開檢視
hadoop fs -get /in.log /home/ii.log
檢視檔案以顯示大小
hadoop fs -ls -r -h /
建立資料夾
hadoop fs -mkdir /itcast0106
刪除檔案
hadoop fs -rm /jdk
刪除目錄
hadoop fs -rmr /itcast0106
檢視檔案內容末尾
hadoop fs -tail /in.log
更改檔案執行許可權
hadoop fs -chmod a+x /in.log
遞迴改變資料夾檔案許可權(-r)
hadoop fs -chmod -r -x /wcount
更改所屬使用者、使用者組
hadoop fs -chown supergroup /in.log
更改所屬組為root
hadoop fs -chgrp root /in.log
遞迴更改資料夾使用者組、root
hadoop fs -chown -r supergroup:root /wcount
在hadoop 2.0之後,將出hdfs dfs -ls -r / 等相關的命令
Hadoop 檔案系統(HDFS)
磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...
hadoop獲取檔案系統介面
hadoop提供了許多檔案系統的介面,使用者可以使用url方案選取合適的檔案系統來實現互動。fs.localfilesystem 客戶端校驗和本地檔案系統hdfs.distributionfilesystem hadoop分布式檔案系統hdfs.hftpfilesystem 支援http通過唯讀的方...
HADOOP檔案系統API練習
合併本地檔案流到hdfs上 public static void write in.close out.close catch ioexception e 增刪改查 public static void hdfstest 列出根目錄下所有檔案和目錄 filestatus files hdfs.lis...