第乙個MapReduce程式

要編寫乙個mapreduce程式就需要編寫乙個map程式和乙個reduce程式，乙個wordcount示例：

通常是在map程式中讀取檔案，第乙個引數預設情況下都是longwritable型別，表示的是待處理的文字檔案一行的起始偏移量，每讀取一行的資料就會呼叫一次map方法，longwritable是對long的封裝，text是對string的封裝

*/ @override

protected void map(longwritable key, text value, context context)

throws ioexception, interruptedexception}}

/*reduce程式需要繼承reducer類，重寫reduce方法，針對每一組資料呼叫一次reduce，比如這裡框架會在所有的map處理完成之後，將所有的key-value快取起來進行分組，類似這種資料，每一次呼叫reduce將處理完成一種key的統計

*/ public class wordcountreducer extends reducer

context.write(key, new longwritable(count));

} }

/* 定義乙個runner，用來描述乙個特定的作業，比如，該作業使用哪乙個類作為邏輯處理的map，

哪個作為reduce，指定該作業要處理的資料所在的路徑，輸出的結果放在哪個路徑下等資訊；

如果需要將job提交到集群執行，則首先需要啟動yarn，其次需要將mapred-site.xml和yarn-site.xml拷貝到src路徑下；另外還需要將當前工程打成jar包，然後對conf設定conf.set("mapreduce.job.jar","打的jar包路徑");

*/public class wordcountrunner

}集群模式下執行：

1.將工程打成jar包，上傳到伺服器，然後用hadoop命令提交

hadoop jar wordcount.jar com.soft.mapreduce.wordcountrunner