如果採用hdfs來儲存資料，我們就可以使用mapreduce來在資料集上構建查詢的view。batch layer的工作可以簡單的用如下偽碼表示：
該工作看似簡單，實質非常強大。任何人為或機器發生的錯誤，都可以通過修正錯誤後重新計算來恢復得到正確結果。
對view的理解：
view是乙個和業務關聯性比較大的概念，view的建立需要從業務自身的需求出發。乙個通用的資料庫查詢系統，查詢對應的函式千變萬化，不可能窮舉。但是如果從業務自身的需求出發，可以發現業務所需要的查詢常常是有限的。batch layer需要做的一件重要的工作就是根據業務的需求，考察可能需要的各種查詢，根據查詢定義其在資料集上對應的views。
4.2.speed layer
batch layer可以很好的處理離線資料，但有很多場景資料不斷實時生成，並且需要實時查詢處理。speed layer正是用來處理增量的實時資料。
speed layer和batch layer比較類似，對資料進行計算並生成realtime view，其主要區別在於：
speed layer處理的資料是最近的增量資料流，batch layer處理的全體資料集
speed layer為了效率，接收到新資料時不斷更新realtime view，而batch layer根據全體離線資料集直接得到batch view。
lambda架構將資料處理分解為batch layer和speed layer有如下優點：
容錯性。speed layer中處理的資料也不斷寫入batch layer，當batch layer中重新計算的資料集包含speed layer處理的資料集後，當前的realtime view就可以丟棄，這也就意味著speed layer處理中引入的錯誤，在batch layer重新計算時都可以得到修正。這點也可以看成是cap理論中的最終一致性（eventual consistency）的體現。
實時大資料處理框架Storm 推送系統
2.1 分塊 a.資料來源延遲問題 資料高峰時期，由於資料來源一般來自資料庫bin log日誌,讀取執行緒數與讀取速度等因素都可能導致資料來源延遲。b.topic分割槽個數問題 分割槽個數決定了同一組消費者的最大個數。c.storm併發度設定 spout併發度,bolt併發度 d.推送系統消費者個數...
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...
Yahoo開源實時大資料處理服務系統Vespa
編譯 薛命燈 編輯 natalie 從 2006 年開源 hadoop 開始，yahoo 也就是現在的 oath 為廣大開發者社群的大資料基礎設施做出了不可磨滅的貢獻。現在，我們又邁出了堅實的一步，yahoo 的大資料處理和服務引擎 vespa 正式在 github 上開源了 有了 vespa，開發...