flume是乙個分布式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。flume可以採集檔案、socket資料報等各種形式源資料，又可以將採集到的資料輸出到hdfs、hbase、hive、kafka等眾多外部儲存系統中。一般的採集需求，通過對flume的簡單配置即可實現。flume針對特殊場景也具備良好的自定義擴充套件能力，所以flume可以適用於大部分的日常資料採集場景。flume的執行原理是：flume的核心角色為agent，flume分布式系統常常是由很多的agent連線而形成的。agent內部有三個元件，一是source採集源，用於跟資料來源對接，獲取資料。二是channel通道，agent內部的資料傳輸通道，用於從source將資料傳遞到sink。三是sink目標地，採集資料的傳送目的地，用於往下一級agent傳遞資料或者往最終儲存系統傳遞資料。採集模式分為單級和多級採集模式。
flume單級agent採集資料，如下圖：
flume多級agent採集資料，如下圖：
Flume 簡介與基本工作原理
flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統，flume支援在日誌系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1.日誌收集 flume最早是cloudera提供的日誌收集系統...
VTun 工作原理詳解
寫在前面 開源專案vtun 短小精悍，涉及到了linux下網路程式設計的幾乎所有的東西，包括守護程式 訊號的處理 服務建立子程序等，實現了虛擬lan的功能。個人感覺 vtun 唯一的缺憾是在認證方面，沒有基於x509證書，而是簡陋的在配置檔案進行了金鑰的設定。雖然在捨棄ca方面，做到了 輕型化 但留...
詳解springmvc工作原理
1.工作原理圖 整理總結 2.工作流程 1 使用者發出請求到dispatcherservlet 3 dispatcherservlet呼叫handleradapter處理器介面卡，經過適配呼叫具體的controller,controller執行完成返回modelandview,將結果返回到dispa...