hadoop常見操作命令

2021-07-04 13:12:39 字數 3117 閱讀 7056

1、檢視指定目錄下內容

hadoop dfs –ls [檔案目錄]

eg: hadoop dfs –ls /user/wangkai.pt

2、開啟某個已存在檔案

hadoop dfs –cat [file_path]

eg:hadoop dfs -cat /user/wangkai.pt/data.txt

3、將本地檔案儲存至hadoop

hadoop fs –put [本地位址] [hadoop目錄]

hadoop fs –put /home/t/file.txt  /user/t   

(file.txt是檔名)

4、將本地資料夾儲存至hadoop

hadoop fs –put [本地目錄] [hadoop目錄] 

hadoop fs –put /home/t/dir_name /user/t

(dir_name是資料夾名)

5、將hadoop上某個檔案down至本地已有目錄下

hadoop fs -get [檔案目錄] [本地目錄]

hadoop fs –get /user/t/ok.txt /home/t

6、刪除hadoop上指定檔案

hadoop fs –rm [檔案位址]

hadoop fs –rm /user/t/ok.txt

7、刪除hadoop上指定資料夾(包含子目錄等)

hadoop fs –rm [目錄位址]

hadoop fs –rmr /user/t

8、在hadoop指定目錄內建立新目錄

hadoop fs –mkdir /user/t

9、在hadoop指定目錄下新建乙個空檔案

使用touchz命令:

hadoop  fs  -touchz  /user/new.txt

10、將hadoop上某個檔案重新命名

使用mv命令:

hadoop  fs  –mv  /user/test.txt  /user/ok.txt   (將test.txt重新命名為ok.txt)

11、將hadoop指定目錄下所有內容儲存為乙個檔案,同時down至本地

hadoop dfs –getmerge /user /home/t

12、將正在執行的hadoop作業kill掉

hadoop job –kill  [job-id]

Hadoop生態常見元件命令操作

一 hadoop hdfs ui介面 格式化節點 hdfs namenode format 如果此命令無法進行格式化,則嘗試使用下面的命令 或hadoop namenode format 已經過時 啟動和停止 所有節點 start all.sh stop all.sh 啟動hdfs start df...

HADOOP基本操作命令

在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...