Hadoop的 wordcount 實現字母計數)

2021-09-26 20:46:00 字數 700 閱讀 9680

首先,在你的hdfs建立目錄

hadoop fs -mkdir -p /wc/input/

第一,建立你的原檔案

touch wordcount.txt ==> vim wordcount.txt

第二,將你的原檔案上傳到 /wc/input/中

hadoop fs -put /home/wordcount.txt /wc/input/

檢視檔案

第三,用hadoop-mapreduce-examples-2.8.0.jar進行計數

hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /wc/input/wordcount.txt /wc/output/

第四,檢視output目錄

hadoop fs -ls /wc/output

最後,檢視計數結果

hadoop執行自帶例項wordcount

作業系統 ubuntu hadoop版本 3.1.3 cd usr local hadoop bin hdfs namenode format 格式化namenode sbin start dfs.shbin hdfs dfs mkdir input 新建input資料夾 bin hdfs dfs ...

Hadoop偽分布式執行wordcount小例子

先說點小知識 hadoop fs 使用面最廣,可以操作任何檔案系統 hadoop dfs和hdfs dfs只能操作hdfs相關的 先建資料存放目錄和結果輸出目錄 guo guo opt hadoop hadoop 2.7.2 hdfs dfs mkdir data input guo guo opt...

Hadoop偽分布式執行wordcount例子

1.進入hadoop目錄,新建乙個test.log檔案,cat命令檢視檔案內容 2.啟動yarn和dfs,一種是全部啟動start all.sh,另外一種分別啟動,如下圖的提示 4.把新建的檔案傳到hdfs的data input中,用ls命令檢視是否傳遞成功 5.進入mapreduce目錄 6.ls...