Flink學習(二) Flink安裝與簡單使用

2021-10-10 18:05:19 字數 710 閱讀 3350

最近在學習flink流處理框架,自己試著在機子上部署了個flink,這裡以簡單的local模式為例,安裝方式較為簡單,僅供學習之用,正式生產上使用的話主要有standalone集群模式,yarn模式以及k8s部署這幾種模式

這裡以最新的flink-1.11.2版本為例

官網:

wget
tar -zxf flink-1.11.2-bin-scala_2.12.tgz
#進入目錄

cd flink-1.11.2/

# 啟動指令碼

flink學習 flink架構

flink結構 graph 2個併發度 source為1個併發度 的sockettextstreamwordcount四層執行圖的演變過程 jobgraph streamgraph經過優化後生成了 jobgraph,提交給 jobmanager 的資料結構。executiongraph jobman...

Flink學習系列之二 Flink批處理

此時我們可以使用flink的批處理,我的data目錄下有a.txt檔案,輸入任意的單詞,然後我們開始統計。如下 public class batchhandler groupby 0 sum 1 filepath 檔案輸出結果檔案 n 以換行符作為每行結束條件 以空格分割單詞 setparallel...

Flink安裝部署

flink概述 apache flink是乙個框架和分布式處理引擎,用於對無界和有界資料流進行有狀態計算。flink設計為在所有常見的集群環境中執行,以記憶體速度和任何規模執行計算。flink特點 1 隨處部署應用 與其它元件整合!flink是分布式系統,需要計算資源才可執行程式。flink可以與常...