------流式計算是什麼
流式計算：資料實時產生、資料實時傳輸、資料實時計算、實時展示
代表技術：flume實時獲取資料、kafka/metaq實時資料儲存、storm/jstorm實時資料計算、redis實時結果快取、持久化儲存(mysql)。
一句話總結：將源源不斷產生的資料實時收集並實時計算，盡可能快的得到計算結果
-------storm是什麼
flume實時採集，低延遲
kafka訊息佇列，低延遲
storm實時計算，低延遲
redis實時儲存，低延遲
storm用來實時處理資料，特點：低延遲、高可用、分布式、可擴充套件、資料不丟失。提供簡單容易理解的介面，便於開發。
海量資料？資料型別很多，產生資料的終端很多，處理資料能力增強
------ storm和hadoop的區別
storm用於實時計算，hadoop用於離線計算。
storm處理的資料儲存在記憶體中，源源不斷；hadoop處理的資料儲存在檔案系統中，一批一批。
storm的資料通過網路傳輸進來；hadoop的資料儲存在磁碟中。
storm與hadoop的程式設計模型相似
job：任務名稱
jobtracker：專案經理
tasktracker：開發組長、產品經理
child:負責開發的人員
topology:任務名稱
nimbus:專案經理
supervisor:開組長、產品經理
worker:開人員
spout/bolt：開人員中的兩種角色，一種是伺服器開發、一種是客戶端開發
Storm流式計算
下面以水廠加工的例子進行講解。人們要想喝到自來水。1 是不是需要水幫浦在水源地進行抽水 2 將抽到的水放到蓄水池裡作進一步的處理。第乙個蓄水池的實現的功能就是做沉澱。第二個蓄水池的功能就是過濾。第三個蓄水池的功能就是消毒。之後產生蓄水。3 要想上面的過程完美的進行，是不是需要乙個中控室，來告訴這些水...
storm流式計算之集群安裝
2.假設你的集群有hadoop01,hadoop02,hadoop03三個節點，首先在hadoop01中解壓安裝包。命令如下 tar zxvf apache storm 0.9.5.tar.gz c servers storm 3.修改配置檔案 vi servers storm conf storm...
大資料流式計算 storm 基礎
一 目標 二 storm是什麼？開源的 分布式 流式計算系統 三 分布式起源 四 批量計算與流式計算的對比 流式計算 批量計算的api 推特的summing bird 谷歌的clouddataflow，介面均開源。五 storm元件 主從結構 簡單 高效，但主節點存在單點問題 對稱結構 複雜 效率較...