Apache NiFi學習及使用的記錄

2021-09-10 05:28:57 字數 725 閱讀 4675

nifi的設計概念與流式程式設計模型(flowbased programming,fbp)的主要概念相似,以下是兩者相似概念的對應關係表與注釋。對於理解nifi的實現機制具有幫助

flowfile:

乙個flowfile代表每個被系統處理的資料物件,乙個flowfile由兩部分組成:屬性和內容。內容是資料本身,屬性是與資料相關的key-value的鍵值對,用於描述資料

flowfile processor

processor是nifi的元件,可以用來建立、傳送、接受、轉換、路由、割裂、合併、處理flowfiles。在使用者建立資料流時,processor是最重要的組成部分

connection

提供processors之間的連線,用來定義processors之間的執行關係,並允許不同processors之間以不同的速度進行互動

flow controller(排程)

其負責維護processors之間的關聯資訊,並且管理所有程序對於執行緒的使用、分配

process group

乙個特定集合的processors與它們之間的連線關係形成乙個process group,其定義了從接受埠接受資料到通過傳送埠傳送資料之間,整個資料流的處理過程。並可以通過簡單組合其它的部件來建立新的部件

單機架構:

Apache Nifi 實戰 多表匯入實現及填坑

nifi 是美國 局開發並使用了 8 年的視覺化資料整合產品,2014 年 nas 將其貢獻給了 apache 社群,2015 年成為 apache 頂級專案。大資料平台都需要進行資料流轉,apache nifi 作為一款強大的資料流開源軟體,支援大量的輸入輸出方式,能夠對資料進行靈活的處理,擁有基...

lombok學習及使用

1.新增依賴和外掛程式plu 2.不使用lombok 展示 private long id private string name private integer age private string email public long getid public void setid long id...

Context Go 學習及使用

chan select 是go 中比較優雅結束乙個 goroutine 的方式 但是當goroutine 衍生出其他更多的 goroutine 的時候怎麼管理呢?context 就提供這麼一種處理的方法 我看大佬們都稱之為 上下文 0.0 context.background 返回乙個空的conte...