flink概述
apache flink是乙個框架和分布式處理引擎，用於對無界和有界資料流進行有狀態計算。flink設計為在所有常見的集群環境中執行，以記憶體速度和任何規模執行計算。
flink特點
1)隨處部署應用
與其它元件整合！
flink是分布式系統，需要計算資源才可執行程式。flink可以與常見的集群資源管理器進行整合(hadoop yarn,apache mesos..)。
可以單獨作為獨立集群執行。
通過不同部署模式實現。
這些模式允許flink以其慣有的方式進行互動。
當我們部署flink應用程式時，flink會根據應用程式配置的並行性自動識別所需資源。從資源管理器中請求它們。
如果發生故障，flink會請求新的資源來替換發生故障的容器。
提交或控制程式都通過rest呼叫進行，簡化flink在許多環境的整合。
2)以任何比例應用程式（小集群、無限集群）
flink旨在以任何規模執行有狀態流應用程式。應用程式可以並行化在集群中分布和同時執行程式。
因此，我們的應用集群可以利用無限的cpu和磁碟與網路io。
flink可以輕鬆的維護非常大的應用程式狀態。
使用者可拓展性報告：
1）應用程式每天可以處理萬億個事件
2）應用程式每天可以維護多個tb的狀態
3）應用程式可以在數千個核心執行
3）利用記憶體中的效能
有狀態flink應用程式針對於對本地狀態訪問進行了優化。任務狀態始終的保留在記憶體中，或者如果
大小超過了可用記憶體，則儲存在訪問高效的磁碟資料結構中(ssd 機械/固態)。
任務可以通過訪問本地來執行所有計算。從來產生極小的延遲。
flink定期和非同步檢查本地狀態持久儲存來保持出現故障時一次狀態的一致性。
有界無界
1）無界
有開始，沒有結束...
處理實時資料。
2）有界
有開始，有結束...
處理批量資料。
無界資料集應用場景（實時計算）
1）源源不斷的日誌資料
2）web應用，指標分析
4）應用在任何資料來源不斷產生的專案中
flink執行模型
1）流計算
資料源源不斷產生，我們的需求是源源不斷的處理。程式需要一直保持在計算的狀態。
2）批處理
計算一段完整的資料集，計算成功後釋放資源，那麼此時工作結束。
flink的使用
1）處理結果準確：無論是有序資料還是延遲到達的資料。
2）容錯機制：
有狀態：保持每次的結果往下傳遞，實現累加。dag（有向無環圖）。
3）有很強大的吞吐量和低延遲。
計算速度快，吞吐量處理的量級大。
4）精準的維護一次的應用狀態。
storm:會發生要麼多計算一次，要麼漏計算。
5）支援大規模的計算
可以執行在數千台節點上。
6）支援流處理和視窗化操作
7）版本化處理
8）檢查點機制實現精準的一次性計算保證
checkpoint
9)支援yarn與mesos資源管理器
flink單節點安裝部署
2）上傳
3）解壓
tar -zxvf .tar
4)啟動
bin/start-cluster.sh
5)訪問ui介面
flink集群安裝部署
2）解壓
3）修改配置檔案
vi flink-conf.yaml
把 jobmanager.rpc.address: localhost 改為 jobmanager.rpc.address: hadoop01
注意：localhost前有個空格
4）scp傳輸到從節點
5）啟動
bin/start-cluster.sh
flink的簡單安裝
flink的優點確實是挺強的，不過公司業務用不到，都是離線的，所以說拿出來研究研究，希望以後有機會能夠用到 上傳然後解壓 解壓到自己的軟體目錄下 tar zxvf flink 1.7.1 bin hadoop27 scala 2.11.tgz cd flink 1.7.1 啟動yarn 前提裝好ya...
Flink超簡單安裝
解壓 usr local目錄下的 flink 1.10.1 bin scala 2.12.tgz 目錄 usr local sudo tar zxf flink 1.10.1 bin scala 2.12.tgz解壓完成之後得到資料夾flink 1.10.1 在 etc profile配置檔案中新增...
flink 入門及安裝
如今，每個組織中都在大量使用實時處理。欺詐檢測，醫療保健中的實時警報和網路攻擊警報等用例需要實時處理即時資料。即使是幾毫秒的延遲也會產生巨大的影響。這種實時用例的理想工具是可以輸入資料流而不是批處理的工具。apache flink是該實時處理工具 解壓 root mypc01 bin tar zxv...