spark的reducebykey使用時注意：如果key值是唯一的，那麼value值就會原樣輸出。
reducebykey是基於combinebykey，如果key值唯一，就不會執行merge步驟，也就不會執行reducebykey方法體。
**例項：
object test
// for(i2 <- y)
// println("zzzzzzzzz" + xx)
// list(xx)
// })
//重寫createcombiner方法,可以解決key唯一而value不處理的問題
val ret = rdd.combinebykey(
//createcombiner
(v: list[
int]
)=>
; ii +
"-"}
,//mergevalue
(c:string
, v: list[
int]
)=>
; ii +
"@"+ c }
,//mergecombiners
(c1:
string
, c2:
string
)=> c1 +
"$"+ c2
)val array = ret.collect(
)for
(a <- array)
}}
關於Spark和Spark的學習資料
hadoop社群依然發展迅速，2014年推出了2.3，2.4,2.5 的社群版本，比如增強 resource manager ha,yarn rest api,acl on hdfs,改進 hdfs 的 web ui hadoop roadmap 根據我的觀察，主要更新在yarn，hdfs，而map...
Spark系列 二 Spark的資料讀入
真的是超級忙碌的一周，所幸的是我們迎來了新的家庭成員乙隻小貓咪 大王。取名為大王的原因竟然是因為之前作為流浪貓的日子總是被其他貓所欺負，所以希望他能做乙隻霸氣的霸王貓啦。言歸正傳，在周一見的悲傷中唯有寫一篇部落格才能緩解我的憂傷吧。spark讀取文字檔案 textfile def textfile ...
Spark系列 三 Spark的工作機制
什麼時候才能回歸到看 寫感想的日子呀 剛剛交完房租的我血槽已空。看了師妹關於spark報告的ppt，好懷念學生時代開組會的時光啊，雖然我已經離開學校不長不短兩個月，但我還是非常認真的翻閱了，並作為大自然的搬運工來搬運知識了。1 local，本地執行，通過多執行緒來實現平行計算。2 本地偽集群執行模式...