Hadoop fs 常用命令

操作hdfs系統可以使用hadoop fs也可以使用hdfs dfs,兩者效果一樣。

hadoop啟動：

start-all.sh 等價於 start-dfs.sh + start-yarn.sh

一般不推薦使用start-all.sh

常用命令：

hadoop fs -ls hdfs_path //檢視hdfs目錄下的檔案和子目錄 hadoop fs –lsr //迴圈列出目錄、子目錄及檔案資訊 hadoop fs -mkdir hdfs_path //在hdfs上建立資料夾 hadoop fs -rm hdfs_path //刪除hdfs上的檔案 hadoop fs -rmr hdfs_path //刪除hdfs上的資料夾 hadoop fs -put local_file hdfs_path //將本地檔案copy到hdfs上 hadoop fs -get hdfs_file local_path //複製hdfs檔案到本地

hadoop fs -cat hdfs_file //檢視hdfs上某檔案的內容

hadoop fs -cat hdfs_path //將路徑指定的檔案內容輸出到 stdout hadoop fs -tail hdfs_path //將檔案尾部1k位元組的內容輸出到 stdout hadoop fs -stat hdfs_path //返回指定路徑的統計資訊 hadoop fs -du hdfs_path //返回目錄中所有檔案的大小，或者只指定乙個檔案時，顯示該檔案的大小 hadoop job –kill [job-id

]//將正在執行的hadoop作業kill掉

fs 檢視目錄下資料夾或者檔案的大小：

//單位byte：
hadoop fs -du / | sort -n
//單位mb：
hadoop fs -du / | awk -f 『 『 『』 | sort -n
//單位gb，大於1g：
hadoop fs -du / | awk -f 『 『 『 }』 | sort -n

sort -n表示按照檔案大小，從小到大排列順序。

hadoop fs -du -h hdfs_path

// 使用 -h 顯示 hdfs 對應路徑下每個資料夾和檔案的大小,檔案的大小用方便閱讀的形式表示，例如用64m代替67108864

Hadoop fs 常用命令

Hadoop fs常用命令

Hadoop fs常用命令

Hadoop fs必需要記住的常用命令

Hadoop fs 常用命令

Hadoop fs常用命令

Hadoop fs常用命令

Hadoop fs必需要記住的常用命令

相關推薦