第一代大資料處理方案:2023年hadoop的mapreduce-批/hdfs, 2023年9月份 apache storm-流
第二代大資料處理方案:2023年2 spark rdd -批處理 ,dstream - 流 (批模擬流 )延遲高
第三代大資料處理方案:2023年12 flink datastream-流,dataset- 批 吞吐量高,低延遲特點。
flink和spark相似採用先進的dag模型做任務拆分完成資料的記憶體計算,但是flink是乙個純流式計算引擎。不同於spark在批處理之上構建流處理,flink設計恰恰和spark相反,flink是在流計算上構建批處理。
推薦閱讀:
flink集群搭建
生成keystore和truststore檔案 依次執行以下的命令,執行中需要設定乙個不少於6位的密碼,這裡設定的密碼為hadoop。執行完成後,會在當前目錄生成keystore和truststore檔案。root itp flink master openssl req new x509 keyo...
Flink 環境搭建
在 2.1 節中已經將 flink 的準備環境已經講完了,本篇文章將帶大家正式開始接觸 flink,那麼我們得先安裝一下 flink。flink 是可以在多個平台 windows linux mac 上安裝的。在開始寫本書的時候最新版本是 1.8 版本,但是寫到一半後更新到 1.9 了 合併了大量 ...
Flink 搭建單機環境
搭建乙個單機版的執行環境 環境 ubuntu 18 解壓執行 啟動完成後,開啟localhost 8081可看到webui 同時在log目錄下,會生成對應日誌 可通過這個檢視 例如 tail log flink root standalonesession 0 donald pro.log 參考官網...