一、分布式大資料處理引擎apache flink
1、可以對有限資料流和無限資料流進行有狀態計算
詳細解釋見下圖
apache flink是一種統一的大資料分析和流計算、批計算及機器學習引擎。
2、無界流和有界流
任何型別的資料都是作為事件流產生的，資料可以作為無界或有界流處理。
（1）無界流有乙個開始但沒有定義的結束。
不會在生成時終止並提供資料。必須持續處理無界流，即必須在攝取事件後立即處理事件。無法等待所有輸入資料到達，因為輸入是無界的，並且在任何時間點都不會完成。處理無界資料通常要求以特定順序（例如事件發生的順序）攝取事件，以便能夠推斷結果完整性。
（2）有界流具有定義的開始和結束。
可以在執行任何計算之前通過攝取所有資料來處理有界流。處理有界流不需要有序攝取，因為可以始終對有界資料集進行排序。有界流的處理也稱為批處理。
二、flink的兩種運算模型
1、流式計算、流計算（模擬滾梯）：流式計算、流計算（滾梯）
2、批處理/離線運算（模擬直梯）：在預先定義的時間內執行計算，當完成時釋放計算機資源。
三、flink生態的核心元件棧
四、flink的外部生態
基於flink
的分布式資料同步工具：
基礎理論（四）
1.簡述python中物件的記憶體是如何管理的 2.簡述類和物件的概念及類繼承的特點 3.簡述python如何操作 mysql,用到什麼包 寫出具體的增刪改查語句 4.簡述scrapy爬蟲的資料流向過程 5.網路七層協議都是哪七層?6.scrapy中如何設定隨機請求頭 隨機 寫出具體步驟 需要什麼配...
vue基礎理論
2 前端框架與庫的區別?kfc的世界裡,庫就是乙個小 框架就是全家桶 上的不同 3 vue起步 vue的檔案介紹 4 插值表示式 注意 必能直接寫語句 可以用於頁面中簡單粗暴的除錯 注意 必須在data這個函式中返回的物件中宣告 比如在angular中 以ng 開頭的就叫做指令 在vue中 以v 開...
lvs基礎理論
一 lvs的型別 1 lvs nat network address translation 請求 client cip，vip director cip,vip 轉化director dip，rip real server dip，rip 響應 real server rip，dip direct...