1.前提：mapreduce能配置的前提是hdfs能夠正常執行
2.在1的基礎上，配置兩個檔案：
在hadoop資料夾下配置兩個檔案mapred-site.xml（由mapred-site.xml.template） 和 yarn-site.xml
yarn-site.xml
<configuration
>
<
property
>
<
name
>yarn.resourcemanager.hostname
name
>
<
value
>192.168.72.100
value
>
property
>
<
property
>
<
name
>yarn.nodemanager.aux-services
name
>
<
value
>mapreduce_shuffle
value
>
property
>
configuration
>
mapred-site.xml
<configuration
>
<
property
>
<
name
>mapreduce.framework.name
name
>
<
value
>yarn
value
>
property
>
configuration
>
3.啟動start.yarn.sh 會多出nodemanager和resourcemanager,說明啟動成功
4.測試是否可以使用，這裡有乙個mapreduce的helloworld
寫乙個檔案，往裡面輸入一些內容，將檔案放到hdfs上
執行命令：
hadoop jar hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.3.jar wordcount /input /outputwordcount
路徑/檔案 不存在的目錄
這時候在這個不存在的裡面會有每個單詞在這篇文件出現的次數。
MapReduce壓縮引數配置
要在hadoop中啟用壓縮，可以配置如下引數 compressioncodec有兩個方法可以用於輕鬆地壓縮或解壓縮資料。要想對正在被寫入乙個輸出流的資料進行壓縮，我們可以使用createoutputstream outputstreamout 方法建立乙個compressionoutputstrea...
MapReduce讀 寫RCFile檔案
rcfile是facebook制定的一種高效儲存結構，它結合了行儲存和列儲存的優點，應用於hive，pig等系統中。所以，rcfile是不可以用head或tail命令擷取某些行重定向新檔案中。由於rcfile廣泛應用於hive等系統中，所以我們就先看看用mapreduce怎麼讀取rcfile檔案。p...
mapreduce多檔案輸出
1 reducer函式中設定多檔案輸出屬性mos private multipleoutputsmos 2 setup 方法中建立物件 mos new multipleoutputs context 3 reduce 方法中對每個類別的檔案寫入，三個引數分別是輸出的key,value,以及類別命名。...