storm人的概述
storm與mapreduce的區別storm
type
mapreduce
storm
資料**
hdfs上tb級別歷史資料
實時新增的某一條資料
處理過程
map階段和reduce階段
可以有很多階段包含spout以及bolt
是否會結束
執行完結束
不會結束
處理速度
主要以執行tb級別資料速度較慢
只處理新增資料速度很快
適用場景
處理批資料不講時效性
處理新增資料將時效性
spark streaming與storm的區別
type
spark streaming
storm
計算模型
是近實時處理框架
全實時處理框架
延遲度最高支援秒級別的延遲
可以支援毫秒級別的延遲
吞吐量因為是批處理所以吞吐量高
吞吐量相對來說較低
動態調整並行度
不支援支援
事務機制
支援但是不夠完善
支援且完善
storm各個元件解釋
storm的設計思想
topology的整個流程
storm的整體架構圖
storm的簡單例項開發
storm核心之並行度
元件解釋
提高storm元件的並行度
executor【直接】
task【間接】
彈性計算rebalance
通過ui介面進行調整，不建議使用所以就不具體解釋使用方法了
並行度設定多少合適
storm簡單易用的API
這是本人翻譯storm的一篇英文文章，英文位址是如有紕漏，歡迎指正 或請參照原文，純屬個人愛好。storm提供了簡單易用的api。當使用storm程式設計時，只需要操縱轉換tuple的流資訊，乙個tuple就是乙個值的列表。tuple可以包含任何資料型別，當使用自定義資料型別時，我們只需要簡單的使用...
Storm 實時性分析
都說storm是乙個實時流處理系統，但storm的實時性體現在什麼方面呢？首先有乙個前提 這裡的實時性和我們通常所說的實時系統 晶元 彙編或c編寫的實時處理軟體 的實時性肯定是沒法比的，也不是同乙個概念。這裡的實時性應該是乙個相對的實時性 相對於hadoop之類 從網上找了一些資料 總結一下，sto...
分析MapReduce與Storm的異同
author kwu 分析mapreduce與storm的異同 1 mapreduce與storm處理資料的不同 mapreduce 處理大資料 批處理，資料是相對不變的。storm 流資料 實時處理，流資料在實時變化。對流資料進行並進處理 1 對於單機來說，使用多程序，多執行緒。2 多機同時多程序...