storm
supervisor
worker
topology
yarn/mrstrom
spout
bolt
mrdag有向無環圖
tuple
stream
spout
bolt
fields分組
all
global
none
direct
local or shuffle
worker – 程序
executor – 執行緒
executor是由worker程序中生成的乙個執行緒
task
rebalance – 再平衡
使用netty通訊框架
零拷貝技術
worker內部通訊訊息的完整性
從spout中發出的tuple，以及基於他所產生tuple，由這些訊息就構成了一棵tuple樹，當這棵tuple樹傳送完成，並且樹當中每一條訊息都被正確處理，就表明spout傳送訊息被「完整處理」，即訊息的完整性
spout端
bolt端定義drpc拓撲
Storm流式計算
下面以水廠加工的例子進行講解。人們要想喝到自來水。1 是不是需要水幫浦在水源地進行抽水 2 將抽到的水放到蓄水池裡作進一步的處理。第乙個蓄水池的實現的功能就是做沉澱。第二個蓄水池的功能就是過濾。第三個蓄水池的功能就是消毒。之後產生蓄水。3 要想上面的過程完美的進行，是不是需要乙個中控室，來告訴這些水...
流式計算storm介紹
流式計算是什麼 流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存 mysql 一句話總結 將源源不斷產生的資料實時收集並實時計算，盡可能快的得到...
高效能流量生成工具trafgen DDoS模擬
因專案需要，要對主流的幾家抗ddos裝置做測評，當然了最專業的是使用spirent testcenter，但受限於其他因素，最終決定搭建乙個軟體環境來進行相關的ddos測試。本文主要講解的是如何使用trafgen工具發起ddos攻擊 syn flood,ack flood等等 synflood攻擊 ...