習慣用mapreduce來做mongodb的聚合，這一次遇到一點小問題。
原資料如下：
使用乙個簡單的mapreduce來驗證一下資料
map=function (),)
}reduce=function (key,values);
}db.u2d2i2r2s_log.mapreduce(map,reduce,)
value裡面包含了多層v
這是為什麼呢？
官方文件:
這段話的意思是，reduce函式有可能在執行乙個任務是可能會被呼叫多次，而不是我們理解的傳統的方法中，一次任務只呼叫一次，所以，reduce函式必須是冪等的。簡單來說，就是reduce函式中接收的value引數的形式，必須和reduce函式返回的結果value的形式一致。
所以，reduce函式必須冪等。
大小: 26.6 kb
大小: 37 kb
用PHP編寫Hadoop的MapReduce程式
usr local php bin php word2count array input comes from stdin standard input you can this code stdin fopen php stdin r while line fgets stdin false wr...
hive執行sql時生成的mapreduce
hive的sql語句被解析成了mapreduce，最終生成了乙個jar檔案。然後通過hadoop jar命令來執行這個jar檔案。在http master 50060 tasklog?attemptid 可以看成jar所在檔案目錄，不過這個jar檔案在mapreduce結束時，就會自動刪除。這個ja...
Hadoop2的Yarn和MapReduce2相關
1 什麼是yarn？2 yarn 和mapreduce相比，它有什麼特殊作用 yarn是乙個分布式的資源管理系統，用以提高分布式的集群環境下的資源利用率，這些資源包括記憶體 io 網路 磁碟等。其產生的原因是為了解決原mapreduce框架的不足。最初mapreduce的committer們還可以週...