Hadoop偽分布式執行wordcount例子

2021-08-09 03:13:49 字數 724 閱讀 3992

1.進入hadoop目錄,新建乙個test.log檔案,cat命令檢視檔案內容;

2.啟動yarn和dfs,,一種是全部啟動start-all.sh,另外一種分別啟動,如下圖的提示;

4.把新建的檔案傳到hdfs的data/input中,用ls命令檢視是否傳遞成功;

5.進入mapreduce目錄;

6.ls命令檢視mapreduce裡面的檔案,執行jar包;

7.檢視output資料夾下的檔案,有兩個,最後的結果在part-r-00000中,用cat命令檢視結果。

Hadoop偽分布式執行wordcount小例子

先說點小知識 hadoop fs 使用面最廣,可以操作任何檔案系統 hadoop dfs和hdfs dfs只能操作hdfs相關的 先建資料存放目錄和結果輸出目錄 guo guo opt hadoop hadoop 2.7.2 hdfs dfs mkdir data input guo guo opt...

hadoop偽分布式

首先是本機模式的搭建,如 1 hdfs dfs ls 檢視本地分布式檔案系統,查詢結果為你本機linux檔案系統,說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下,進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式

一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...