hadoop執行模式有三種:本地模式、偽分布式模式以及完全分布式模式。
1、本地模式
不需要額外的配置,只要執行相應的jar包即可,下面是執行官方grep案例:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
2、偽分布式模式
2.1啟動hdfs並執行mapreduce程式:
1)、配置集群
2)、啟動集群
3)、檢視集群
檢視hdfs檔案系統
4)、操作集群
2.2啟動yarn並執行mapreduce程式
1)、配置集群在yarn上執行mr
2)、啟動集群和yarn
3)、檢視集群和yarn
檢視yarn
2.3配置歷史伺服器
檢視歷史伺服器
3、完全分布式
3.1基本步驟:
1)、準備三颱客戶機
2)、安裝jdk、hadoop分別配置環境變數
3)、配置集群
4)、單點啟動
5)、配置ssh
6)、群起並測試
3.2集群部署規劃
web端檢視secondarynamenode
(a)瀏覽器中輸入:http://hadoop104:50090/status.html
hadoop(七)mapReduce執行模式
mr程式的幾種提交執行模式 本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 ...
hadoop本地執行模式 官方Grep案例
一 在本地模式之前 1.先進入 hadoop所安裝的資料夾 儲存後退出 二 官方grep案例 建立在hadoop 2.7.2檔案下面建立乙個input資料夾 mkdir input將hadoop的xml配置檔案複製到input cp etc hadoop xml input 3.執行share目錄下...
Hadoop執行過程
根據hadoop 的描述,hadoop執行過程分為load map shuffle reduce這四個階段,可以看成是乙個由split itemize map reduce等10個函式或運算元組成的dag。其中每乙個函式或運算元,都可以提供自定義的實現以此來擴充套件hadoop的功能或優化效能。1 ...