1.map reduce 執行過程:
input->combiner->shuffle->output
(1)combiner負責完成上面提到的將同乙個map中相同的key進行合併，避免重複傳輸，從而減少傳輸中的通訊開銷。
(2)shuffle過程，也稱copy階段.shuffle過程是貫穿於map和reduce兩個過程的。
(3)shuffle過程要求：
完整地從map task端拉取資料到reduce task端
在拉取資料的過程中，盡可能地減少網路資源的消耗
盡可能地減少磁碟io對task執行效率的影響
20170917Hive學習總結
1.檢視sql語句的執行過程，可以在語句前加explain explain select city code,count 1 as cnt from user where access wifi group by city code order by cnt desc limit 5 2.mr jo...
學習後總結，總結後再學習
學習後總結，總結後再學習 2010年畢業以來，讀了幾百本書籍，包括it技術 管理 歷史 營銷 金融 心理等等，在讀某商學院mba一年後感覺有些東西還是要寫寫，除了能增加自己對某些知識和理論的理解外，也許其他人也碰巧想關注一下，了解這方面的東西。我所寫的都是一些簡單的概念層面的解釋，不會做太深入的闡述...
學習總結 近期acm學習的總結
開學已經乙個月了，對acm的學習也乙個月了，做了一下總結 對自己不好的地方的反省 1.開學一開始學的是stl，不得不說stl是乙個很好的東西，熟練的運用stl大大的減少了 量，也使演算法容易實現。但是我在用stl後使自己產生了一種惰性思維。在兩個星期的stl練習後，我發現自己變得越來越懶，不願意自己...