hadoop常用命令

1.啟動偽分布式系統

./sbin/start-dfs.sh

./sbin/stop-dfs.sh

./bin/hdfs dfs -mkdir /hadoop-mkdir /hadoop

./bin/hdfs dfs -put ./etc/hadoop/*.txt /hadoop

./bin/hdfs dfs -ls /hadoop-ls /hadoop

./bin/hdfs dfs -cat /hadoop/a.txt-cat /hadoop/a.txt

./bin/hdfs dfs -get /hadoop/a.txt /home/wind

刪除檔案 hdfs dfs -rm /input/a.txt

8.執行自己編寫的的jar包，打包時未指定入口類的需要在命令列中指明包名和入口類名

hadoop jar /home/wind/桌面/wordcount.jar  hdfs://localhost:9000/hadoop/input/a.txt hdfs://localhost:9000/hadoop/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar org.apache.hadoop.examples.wordcount_類名  input output

9、檢視當前hdfs配置引數

hdfs  getconf  -confkey  mapreduce.jobhistory.address

10、合併檔案(前面為hdfs資料夾名，後面為本地結果檔名)

hdfs dfs -getmerge  /hadoop/original_ad   /share/ori

11、查詢配置檔案和預設配置檔案

find  /  -name  "yarn*xml"

12、修改已有檔案的副本數   

hadoop dfs -setrep -w 2 -r /user

執行 hdfs balancer 均衡集群資料

13、檢視檔案塊數目及資訊

hdfs  fsck  /backup/database/acct_info201806.csv -files -blocks -locations

hadoop 常用命令

啟動hadoop 進入hadoop home目錄。執行sh bin start all.sh 或者是在hadoop 的目錄下能看到他的bin目錄 執行 bin start all.sh 關閉hadoop 進入hadoop home目錄。執行sh bin stop all.sh 同上。1 檢視指定目錄...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...