flume 是一款支援多節點部署並行採集、可靠的、實用的採集系統，該系統能高效收集、聚合、移動海量的資料，從不同的資料來源到乙個中心的儲存系統。
使用flume有以下前置條件。乙個flume的event被定義成乙個data flow單元，每個data flow都會有乙個位元組的header&乙個可配置的分布式string的資料集合。
flumesink是乙個元件，用來將資料從flume傳輸到下乙個儲存系統，agent是乙個jvm程序，這個程序管理著sources、sinks、channels等不同的元件每個sink對應乙個channel
該拓撲圖主要是用來削峰
該拓撲主要是用來將多個日誌服務產生的日誌彙總到統一的儲存系統中
該拓撲主要是將相同的日誌資料分別全量匯入到不同的儲存介質，每個儲存介質中的資料其實是一樣的。
通過Apache Flume向HDFS儲存資料
本筆記基於hadoop2.7.3，apache flume 1.8.0。其中flume source為netcat，flume channel為memory，flume sink為hdfs。1，配置flume 檔案 配置乙個flume agent 在此名稱為shaman。配置檔案 netcat me...
Apache Flume之正則過濾器
在當今的大資料世界中，應用程式產生大量的電子資料 這些巨大的電子資料儲存庫包含了有價值的 寶貴的資訊。對於人類分析師或領域專家，很難做出有趣的發現或尋找可以幫助決策過程的模式。我們需要自動化的流程來有效地利用龐大的，資訊豐富的資料進行規劃和投資決策。在處理資料之前，收集資料，聚合和轉換資料是絕對必要...
apache flume 常用的一些配置
1.http source到hdfs sink 根據傳入json不同分配道不同hive表，兩種方法 注 hive表只是hdfs乙個資料夾 建立多個通道 hdfs sink 不同hdfs.path對應不同sink agent.sinks.kafka2hive general.type hdfs age...