多年來，hive metastore已發展成為hadoop生態系統的元資料中心。對於同時部署了hive和flink的使用者，hivecatalog使他們能夠使用hive metastore管理flink的元資料。
對於僅部署flink的使用者，hivecatalog是flink開箱即用的唯一持久目錄。 如果沒有永續性目錄，使用flink sql create ddl的使用者必須在每個會話中重複建立像kafka表這樣的元物件，這會浪費大量時間。 hivecatalog通過授權使用者僅建立一次表和其他元物件，並在以後的跨會話中方便地進行引用和管理來填補這一空白。
一旦正確配置，hivecatalog應該即開即用。使用者可以使用ddl建立flink元物件，然後可以立即檢視它們。
hivecatalog可用於處理兩種表：hive相容表和通用表。就儲存層中的元資料和資料而言，相容hive的表是以相容hive的方式儲存的表。因此，可以從hive端查詢通過flink建立的hive相容
Flink學習（二） Flink安裝與簡單使用
最近在學習flink流處理框架，自己試著在機子上部署了個flink，這裡以簡單的local模式為例，安裝方式較為簡單，僅供學習之用，正式生產上使用的話主要有standalone集群模式，yarn模式以及k8s部署這幾種模式 這裡以最新的flink 1.11.2版本為例 官網 wgettar zxf ...
flink 非同步io使用
當與外部系統互動時 例如，當使用儲存在資料庫中的資料來豐富流事件時 需要注意與外部系統的通訊延遲不會影響流應用程式的整體工作。直接訪問外部資料庫中的資料，例如在mapfunction中，通常意味著同步互動 向資料庫傳送請求，並且mapfunction等待直到收到響應。在許多情況下，這種等待佔據了函式...
flink學習 flink架構
flink結構 graph 2個併發度 source為1個併發度 的sockettextstreamwordcount四層執行圖的演變過程 jobgraph streamgraph經過優化後生成了 jobgraph，提交給 jobmanager 的資料結構。executiongraph jobman...