2. spark中action運算元
3. [spark運算元部落格鏈結](
4. [flink datastream transformations 運算元](
詳細鏈結
-combinebykey()是最通用的對key-value型rdd進行聚集操作的聚集函式（aggregation function）。類似於aggregate()，combinebykey()允許使用者返回值的型別與輸入不一致。
-reducebykey底層也是通過combinebykeywithclasstag來實現的
-combinebykeywithclasstag的第乙個引數預設為(v: v) => v，所以對元素不會產生任何影響
-第二、三兩個引數都一樣，是reducebykey傳遞過來的，將兩個值變成乙個值(v, v) => v
-groupbykey底層也是通過combinebykeywithclasstag來實現的
-groupbykey的返回值為rdd[(k, iterable[v])]，val值是乙個迭代器，其內容包含所有key值為k的元祖的value值
-執行過程類似reducebykey，只是已經幫你寫好了每個函式，但是引數mapsidecombine = false，也就意味著，不在map端執行，在reduce端執行
Flink和spark的對比
兩者最重要的區別 流和微批 micro batching計算模式認為 流是批的特例 流計算就是將連續不斷的微批進行持續計算，如果批足夠小那麼就有足夠小的延時，在一定程度上滿足了99 的實時計算場景。那麼那1 為啥做不到呢?這就是架構的魅力，在micro batching模式的架構實現上就有乙個自然流...
flink和spark的區別
1 spark無狀態，flink有狀態 spark本身是無狀態的，所以我們可以把它看成乙個rdd乙個運算元乙個rdd的去處理，就是說可以看成分段處理。但是flink是事件驅動型應用是一類具有狀態的應用，我們要把它看成乙個個event記錄去處理，當遇到視窗時會進行阻塞等待，視窗的聚合操作是無狀態的。過...
Spark與Flink的對比
為了理解spark和flink引擎的特性，首先必須檢查它們各自的資料模型。spark使用彈性分布式資料集 resilient distributed dataset，rdd rdd比mapreduce的檔案模型更抽象，依賴於運算關係以確保可恢復性。rdd通常用於分布式共享記憶體或完全虛擬化，也就是說...