2.1 分塊
a.資料來源延遲問題
資料高峰時期，由於資料來源一般來自資料庫bin-log日誌,讀取執行緒數與讀取速度等因素都可能導致資料來源延遲。
b.topic分割槽個數問題
分割槽個數決定了同一組消費者的最大個數。
c.storm併發度設定
spout併發度,bolt併發度
d.推送系統消費者個數設定
kafka消費者執行緒數，注意多渠道劃分導致匯流排程數遠遠超過生產機器的cpu總核數，可能出現部分執行緒阻塞情況。
e.渠道傳送介面呼叫
http介面orrpc介面，同步或非同步呼叫，批量傳送大小設定
實時訊息推送出現較長時間延遲時，說明系統出現瓶頸，此時應該檢視生產系統各部分的吞吐情況，包括資料來源延遲，kafka消費能力，storm處理能力，推送系統能力等
storm流式大資料處理流行嗎
在如今這個資訊高速增長的今天，資訊實時計算處理能力已經是一項專業技能了，正是因為有了這些需求的存在才使得分布式，同時具備高容錯的實時計算系統storm才變得如此受歡迎，為什麼這麼說呢？下面看看新霸哥的介紹。優點之一 高可靠性 對storm有了解的朋友可能會知道spout發出的訊息後續可能會觸發產生成...
用於實時大資料處理的Lambda架構
如果採用hdfs來儲存資料，我們就可以使用mapreduce來在資料集上構建查詢的view。batch layer的工作可以簡單的用如下偽碼表示 該工作看似簡單，實質非常強大。任何人為或機器發生的錯誤，都可以通過修正錯誤後重新計算來恢復得到正確結果。對view的理解 view是乙個和業務關聯性比較大...
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...