一、計算框架
storm，spark，flink簡介和區別
參考：0、框架流程
從各種**取訊息 -> 流式系統（分布式流通，計算任務，業務等）-> 輸出（後面具體業務ui等）
1、storm
2、spark streaming
3、flink
二、儲存
hdfs（hadoop分布式檔案系統(hdfs)）, hbase, hive,
更正：hadoop是mapreduce+ hdfs，mapreduce是計算框架，hdfs是檔案系統，做儲存
參考1、hdfs & hbase & hive
2、redis
參考
大資料「重磅炸彈」 實時計算框架 Flink
apache flink 是一款面向資料流處理和批處理的可分布式的新一代大資料實時處理引擎，簡直是大資料中的 重磅炸彈 對於大資料開發者來說，實時計算一時爽，一直實時計算一直爽 對於有實時計算場景需求的後端開發也可以了解一下。本場 chat 首先會分析一下公司常見的實時計算場景需求有哪些，然後對實時...
學習Storm實時計算框架
storm是乙個分布式是實時計算系統，它設計了一種對流和計算的抽象，概念比較簡單，實際程式設計開發起來相對容易。storm中最核心的計算元件的抽象就是spout bolt，以及stream grouping。名詞 含義拓展 topology 拓撲圖類似於hadoop中的mapreduce job，是...
徹底了解大資料實時計算框架 Flink
在 1.1 節中講解了日常開發常見的實時需求，然後分析了這些需求的實現方式，接著對比了實時計算和離線計算。隨著這些年大資料的飛速發展，也出現了不少計算的框架 hadoop storm spark flink 在網上有人將大資料計算引擎的發展分為四個階段。或許會有人不同意以上的分類，筆者覺得其實這並不...