FlinkV1 3官網簡述

2022-05-29 19:24:10 字數 738 閱讀 6873

flink簡介:

針對無界資料集的持續計算

1、資料是源源不斷的產生的,就是水流一樣。

2、stream總有結束的時候。

資料集型別

1、無界:不斷產生的資料

2、有界:最終,不再改變的資料集

有界資料集是無界資料集的乙個特例;有界資料集在flink內部是以一種終態資料進行處理的;在flink中有界和無界的差別非常小;使用同一套流計算執行引擎上的api操作兩種資料集型別。

兩種執行模型

1、流計算:資料不斷產生,就一直處於計算狀態。

2、批處理:完成一定時間段的計算任務後,釋放資源。

flink特點:

1、結果精準,即使是無序資料或者延遲到達的資料。

2、有狀態以及容錯。維護精準一次的應用狀態。

3、大規模計算,幾千臺節點上運算,高吞吐量和低延遲的特點。

4、flink通過檢查點機制實現精準一次的計算保證,在故障時可以體現出來。

5、flink支援流計算以及視窗化操作。

6、flink支援靈活的基於時間視窗的計算。

7、flink容錯是輕量級。即:占用資源少。可以保證零資料丟失。

8、flink是高吞吐量和低延遲的。

flink自下而上的構架層次:

見:中的flink構架圖。

總之:flink是開源的計算引擎,消除了效能和可靠性的權衡。

FlinkV1 10安裝和Standalong部署

cd mnt e download sudo tar zxvf flink 1.9.1 bin scala 2.11.tgz c usr local 修改目錄名稱,並設定許可權,命令如下 cd usr local sudo mv flink 1.9.1 flink sudo chown r hado...

1D1A 1 插入排序

演算法導論第乙個演算法就是插入排序,思想簡單,如果是從小到大排序,就是從第二個數開始,和前邊的數比較,直到大於等於前邊那乙個數,然後放在那個位置。而且,先用python寫,就相當於偽 特別好,既有思路,還把python練習一下,然後再用c python def insertsort a for i ...

1 小試牛刀 1

1.echo e 包含轉義序列的字串 2.彩色列印 文字 重置 0,黑 30,紅 31,綠 32,黃 33,藍 34,洋紅 35,青 36,白 37 背景 40,41,42,43,44,45,46,47 example 1 echo e e 1 31m zhangjing e 0m 紅字 2 ech...