## mapreduce是什麼 ##
mapreduce
是一種分布式程式設計模型，用來解決海量資料計算的問題。程式設計師使用它可以更關注業務邏輯的實現，而不需要花費大量精力在因分布式上執行而帶來的問題。
mapreduce 採用分治法的思想，把乙個大的任務切分為很多小的任同時執行（map 階段），彙總所有的執行結果（reduce 階段）。
使用者以 kv 對的形式把資料提交給 map，map 處理完後以 kv 對的形式提交給 reduce，reduce 處理以後以 kv
對的形式輸出給使用者。
其實,我們通過形象的記憶能更容易明白程式設計模型的思想這是我在網上看到乙個小例子
we want to
count all the books in
the library. you count up shelf #1, i count up shelf #2. that』s map. the more people we get, the faster it goes.
我們要數圖書館中的所有書。你數1號書架，我數2號書架。這就是「map」。我們人越多，數書就更快。
now we get together and add our individual counts. that』s reduce.
現在我們到一起，把所有人的統計數加在一起。這就是「reduce」。
hadoop map reduce 階段筆記
shuffle and sort mr 框架保證 每個 reducer 的輸入都是按照 key 鍵排過序的。shuffle 將map輸出結果送到reducer和排序的功能。1 map 每個map task將結果輸出到環形記憶體緩衝區，當到達一定閾值，則啟動乙個後台程序將快取中的資料 1 按照 red...
Hadoop MapReduce 效能優化
我們時常談論說到mapreduce時，我們都會說它是離線計算框架，磁碟io開銷大，job執行比較慢等等。這一篇部落格，南國系統回顧下mr程式執行慢的原因，以及如何優化mr程式。我們都知道mapreduce是離線計算框架，不同於spark記憶體計算框架模型。乙個標準的mr程式由map方法和reduce...
九 hadoop mapreduce分割槽
一 什麼時候分割槽？1 分割槽的實現 通過繼承partitioner類，實現getpartition方法。public int getpartition key key,value value,int reducetasknumber map結束後得到的每個key value都呼叫該方法，並把key...