map
**--》集群
nc--》埠 9000 （可以修改）
替換 字
flatmap 切分壓平
filter
repartition
union合併 【local】 當只有兩個的時候 只有乙個分割槽 另乙個處理資料集
count
reduce
join 和 cogroup
用兩個佇列join以上運算元都是無狀態的 ............................................... 各處理各個
假如記錄累加
dstream 的轉化操作可以分為無狀態(stateless)和有狀態(stateful)兩種。
• 在無狀態轉化操作中，每個批次的處理不依賴於之前批次的資料。常見
的 rdd 轉化操作，例如 map()、filter()、reducebykey() 等，都是無狀態轉
化操作。
• 相對地，有狀態轉化操作需要使用之前批次的資料或者是中間結果來計
算當前批次的資料。有狀態轉化操作包括基於滑動視窗的轉化操作和追蹤狀態
變化的轉化操作。
有狀態轉換操作
1.updatestatebykey 追蹤狀態變化
updatestatebykey如下圖：底層原始碼
2.window operations 基於視窗
批次時間 視窗大小 滑動頻次
視窗大小批次時間的整數倍 多久滑動一次視窗 也是批次時間的整數倍
視窗分兩種
滾動視窗 兩個引數可以省掉 資料沒有重疊
滑動視窗 不能省掉 資料有重疊
Spark Streaming入門詳解
背景 使用spark主要是使用spark streaming，spark streaming的魔力之所在於 1.流式處理，如今是乙個流處理時代，一切與流不相關的都是無效的資料。3.spark streaming本身是乙個程式，spark streaming在處理資料的時候會不斷感知資料。所以對構建複...
Spark Streaming 程式監控
官網中指出，spark中專門為sparkstreaming程式的監控設定了額外的途徑，當使用streamingcontext時，在web ui中會出現乙個 streaming 的選項卡，在此選項卡內，統計的內容展示如下 這其中包括接受的記錄數量，每乙個batch內處理的記錄數，處理時間，以及總共消耗...
spark streaming讀取kafka示例
spark streaming讀取kafka示例，其中 spark streaming優雅的關閉策略優化部分參考 如何管理spark streaming消費kafka的偏移量部分參考 spark向kafka中寫入資料部分參考 object demo 建立streamingcontext return...