Flume簡介 原始碼編譯

2021-08-07 08:36:48 字數 813 閱讀 9801

flume og:flume original generation, 即flume 0.9.x版本

flume ng:flume next generation ,即flume 1.x版本

現在一般叫flume-ng,也是使用最為廣泛的

agent用於採集資料,agent是flume中產生資料流的地方,同時,agent會將產生的資料流傳輸到collector。對應的,collector用於對資料進行聚合,往往會產生乙個更大的流。

flume ng,它摒棄了master和zookeeper,collector也沒有了,web配置臺也沒有了,只剩下source,sink和channel,此時乙個agent的概念包括source,channel和sink,完全由乙個分布式系統變成了傳輸工具。不同機器之間的資料傳輸不再是og那樣由agent->collector,而是由乙個agent端的sink流向另乙個agent的source

由於支援多種多樣的輸入和輸出,因此被廣泛應用

git clone

mvn clean compile

nexus.axiomalaska.com

或者 使用vpn,我這裡用的就是它,簡單快速

執行mvn clean compile

flume原始碼閱讀 總體介紹

flume是cloudera提供的乙個高可用的,高可靠的,分布式的海量日誌採集 聚合和傳輸的系統,flume支援在日誌系統中定製各類資料傳送方,用於收集資料 同時,flume提供對資料進行簡單處理,並寫到各種資料接受方 可定製 的能力。對於怎樣去讀原始碼,仁者見仁,智者見智,下面僅僅陳述一下我的方法...

Spark Streaming原始碼簡介

spark streaming是構建在spark core之上,提供的可擴充套件 高吞吐 容錯的實時流處理模組,它能接受來自kafka flume tcp各種渠道的資料,進行使用者定義的各種map reduce計算,最終將資料繼承到檔案系統 hdfs hbase這樣的儲存平台或者將引數的資料供後端系...

OpenSSL原始碼簡介

x509是由國際電信聯盟 itu t 制定的數字證書標準 包含公鑰和使用者標誌符 ca等 x509是數字證書的規範,p7和p12是兩種封裝形式 x.509是常見通用的證書格式。所有的證書都符合為public key infrastructure 制定的itu t x509國際標準。pkcs 7常用的...