flink簡介:
針對無界資料集的持續計算
1、資料是源源不斷的產生的,就是水流一樣。
2、stream總有結束的時候。
資料集型別
1、無界:不斷產生的資料
2、有界:最終,不再改變的資料集
有界資料集是無界資料集的乙個特例;有界資料集在flink內部是以一種終態資料進行處理的;在flink中有界和無界的差別非常小;使用同一套流計算執行引擎上的api操作兩種資料集型別。
兩種執行模型
1、流計算:資料不斷產生,就一直處於計算狀態。
2、批處理:完成一定時間段的計算任務後,釋放資源。
flink特點:
1、結果精準,即使是無序資料或者延遲到達的資料。
2、有狀態以及容錯。維護精準一次的應用狀態。
3、大規模計算,幾千臺節點上運算,高吞吐量和低延遲的特點。
4、flink通過檢查點機制實現精準一次的計算保證,在故障時可以體現出來。
5、flink支援流計算以及視窗化操作。
6、flink支援靈活的基於時間視窗的計算。
7、flink容錯是輕量級。即:占用資源少。可以保證零資料丟失。
8、flink是高吞吐量和低延遲的。
flink自下而上的構架層次:
見:中的flink構架圖。
總之:flink是開源的計算引擎,消除了效能和可靠性的權衡。
FlinkV1 10安裝和Standalong部署
cd mnt e download sudo tar zxvf flink 1.9.1 bin scala 2.11.tgz c usr local 修改目錄名稱,並設定許可權,命令如下 cd usr local sudo mv flink 1.9.1 flink sudo chown r hado...
1D1A 1 插入排序
演算法導論第乙個演算法就是插入排序,思想簡單,如果是從小到大排序,就是從第二個數開始,和前邊的數比較,直到大於等於前邊那乙個數,然後放在那個位置。而且,先用python寫,就相當於偽 特別好,既有思路,還把python練習一下,然後再用c python def insertsort a for i ...
1 小試牛刀 1
1.echo e 包含轉義序列的字串 2.彩色列印 文字 重置 0,黑 30,紅 31,綠 32,黃 33,藍 34,洋紅 35,青 36,白 37 背景 40,41,42,43,44,45,46,47 example 1 echo e e 1 31m zhangjing e 0m 紅字 2 ech...