Hadoop常用命令總結

2021-08-28 12:59:05 字數 1284 閱讀 8332

檢視幫助

hadoop fs -help

列出檔案系統由哪些塊構成

hadoop fsck / -files -blocks

檢視磁碟

hadoop fs -df -h /

建立目錄

hadoop fs -mkdir user

列出根目錄

hadoop fs -ls /

列出所有檔案

hadoop fs -ls . 

遞迴檢視根目錄

hadoop fs -lsr /(過時的用法)

hadoop fs -ls -r /

從本地檔案系統複製乙個檔案到hdfs

hadoop fs -copyfromlocal test.txt hdfs:

hadoop fs -copyfromlocal test2.txt /user(省略字首,使用預設檔案系統hdfs:

從hdfs複製乙個檔案到本地檔案系統

hadoop fs -copytolocal /user/test2.txt test2.copy.txt

md5 /user/test2.txt test2.copy.txt

檢視檔案

hadoop fs -cat /user/test2.txt

刪除檔案

hadoop fs -rm /user/test2.txt

刪除檔案刪除資料夾

hadoop fs -rm -r /user/test

本地模式驗證

```mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'

cat output/*

hadoop fs -mkdir input

hadoop fs -put input/wordcount input/

hadoop fs -get input/wordcount input/

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input/wordcount /user/wordresult

hadoop fs -text /user/wordresult/part-r-00000

```檢視namenodes節點

hdfs getconf -namenodes

hadoop 常用命令

啟動hadoop 進入hadoop home目錄。執行sh bin start all.sh 或者是在hadoop 的目錄下能看到他的bin目錄 執行 bin start all.sh 關閉hadoop 進入hadoop home目錄。執行sh bin stop all.sh 同上。1 檢視指定目錄...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...