在工作中遇到上圖所示問題，sparkstreaming處理速度跟不上拉取的數量，我嘗試給spark作業增大資源，完全沒作用，後來發現kafka的topic只有乙個分割槽，spark作業都已經給了5個excutor，再增加資源和excutor也沒作用，好像是因為topic乙個分割槽對應乙個excutor，這樣才能並行執行，我這裡乙個分割槽，所以只用上乙個excutor，它已經達到上限，增加資源也白費。我們這裡並沒有充分利用excutor的數量，所以，我刪掉這個topic，重新建乙個5個分割槽的topic，重啟作業後，問題就解決了。
解決後：
Spark Streaming入門詳解
背景 使用spark主要是使用spark streaming，spark streaming的魔力之所在於 1.流式處理，如今是乙個流處理時代，一切與流不相關的都是無效的資料。3.spark streaming本身是乙個程式，spark streaming在處理資料的時候會不斷感知資料。所以對構建複...
Spark Streaming 程式監控
官網中指出，spark中專門為sparkstreaming程式的監控設定了額外的途徑，當使用streamingcontext時，在web ui中會出現乙個 streaming 的選項卡，在此選項卡內，統計的內容展示如下 這其中包括接受的記錄數量，每乙個batch內處理的記錄數，處理時間，以及總共消耗...
spark streaming讀取kafka示例
spark streaming讀取kafka示例，其中 spark streaming優雅的關閉策略優化部分參考 如何管理spark streaming消費kafka的偏移量部分參考 spark向kafka中寫入資料部分參考 object demo 建立streamingcontext return...