Flume架構設計

2021-09-02 08:23:32 字數 442 閱讀 4973

我們的架構設計的思路跟美團大同小異,也是分為agent層,collector層和store層。

具體可參考美團架構1,美團架構2,下面只是一些補充:

下面是我們自己的架構圖:

下面的圖描述一條日誌訊息從客戶端產生,經過了怎樣的過程最終被消費的。

美團的文件中已對這個架構的優越性進行了說明,比如可用性,可靠性和可擴充套件性,這裡就不贅述了。

美團自己在flume的基礎做了一些改進和優化,總結如下:

在我們實際使用的過程中酌情考慮這些優化。

後續會有部署指南和api封裝等方面的相關介紹。

salesforce 架構設計 從架構設計到架構師

因為碎片化的時間多了,所以開始刷起某乎了,關注了架構相關的板塊,也順手回答了一些問題。發現有很多同道中人正在經歷著我前兩年經歷的階段,對於做架構沒有相對具象的一些理解,更沒有系統化的認識。所以把最近回答的一些內容整理一下,權當記錄,留給3年後的自己 按慣例,容許我裝x開頭 一 架構的定義 在軟體開發...

mysql架構設計 初識mysql架構設計

一 應用系統如何與mysql進行一次互動?最開始接觸jdbc的時候,我們系統如何完成一次sql操作呢?第一步,建立資料庫連線 第二步,操作sql 第三步,釋放連線。但是每次建立與資料庫的連線非常耗時和資源,所以我們加入了連線池的概念。第一步的獲取連線是從連線池中獲取乙個可用的連線,第三步的釋放連線不...

軟體架構設計 二 系統總體架構設計

系統總體架構非常重要,但在表達上都不盡相同,下面介紹幾種常用的系統架構模式,供參考 assf access service biz standard fundation 模式 訪問 服務 業務功能 標準 基礎,對系統架構各個層次均有表達,但部署應用模式需要有單獨說明,如下圖方式組織系統總體架構 lo...