關於Hadoop2 7 2執行wordcount

2021-07-14 23:53:04 字數 1367 閱讀 7363

1.每次機器重啟後需要重新format否則namenode無法啟動的問題,解決辦法就是修改core-site.xml,在你的hadoop安裝目錄新增臨時資料夾。

hadoop.tmp.dir

/usr/local/hadoophome/hadoop_tmp

2.新建hdfs輸入資料夾input2。

bin/hadoop fs -mkdir /input2

3.將本地檔案新增到hdfs系統的輸入資料夾input2裡。

bin/hadoop fs -put readme.txt /input2

4.hdfs分布式檔案系統實際上並不能在機器上找到相應的資料夾位置。你可以通過fs命令檢視檔案目錄。

bin/hadoop fs -ls / 或者是具體某個檔案路徑 bin/hadoop fs -ls /input2

5.同樣你也可以檢視某個檔案的內容。

bin/hadoop fs -cat /input2/readme.txt

6.執行wordcount,將結果輸出到output2中

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input2 /output2

7.也可以刪除hdfs的檔案。

bin/hadoop fs -rmr /input2

8.注意每次執行前都必須清除你的輸出資料夾如「output2」

9.檢視結果

hadoop2 7 2安裝部署教程

參考部落格 1.配置命名服務 hdfs site.xml qjournal 位址加埠,機器以分號相隔 dfs.client.failover.proxy.provider.hearain org.apache.hadoop.hdfs.server.namenode.ha.configuredfail...

window 下安裝Hadoop2 7 2教程

fs.defaultfsname hdfs localhost 9000value property configuration hdfs site.xml dfs.replicationname 1value property dfs.namenode.name.dirname file hado...

hadoop執行自帶例項wordcount

作業系統 ubuntu hadoop版本 3.1.3 cd usr local hadoop bin hdfs namenode format 格式化namenode sbin start dfs.shbin hdfs dfs mkdir input 新建input資料夾 bin hdfs dfs ...