Flume學習筆記

一，flume概述

flume是乙個分布式，可靠的，高可用的海量日誌採集，聚合和傳輸系統。

flume的作用：支援在日誌系統中定製各類資料的傳送方，用於收集資料；同時，flume提供對資料進行簡單處理，並寫到各資料的接受方（比如文字，hdfs，hbase等）的功能。

二，組成

1、 flume分布式系統中最核心的角色是agent，flume採集系統就是由乙個個agent所連線起來形成每乙個agent相當於乙個資料傳遞員，內部有三個元件：

a) source：採集源，用於跟資料來源對接，以獲取資料。

source型別

b) channel：angent內部的資料傳輸通道，用於從source將資料傳遞到sink。

channel型別

sink型別

2，event： 乙個資料單元，訊息頭和訊息體組成flume的資料流由事件(event)貫穿始終。（events可以是日誌記錄、 **ro 物件等）event寫到磁碟上，當資料傳送成功後，再刪除；如果資料傳送失敗，可以重新傳送。

3，client：client生產資料，執行在乙個獨立的執行緒。

4，flow： event從源點到達目的點的遷移的抽象。

三，flume安裝環境（詳見案例）

2，在/flume/conf下的flume-env.sh中配置j**a_home。

3，根據資料採集的需求配置採集方案，描述在配置檔案中(檔名可任意自定義)

4，指定採集方案配置檔案，在相應的節點上啟動flume agent

Flume學習筆記

agent1.sources source1 agent1.sinks sink1 agent1.channels channel1 agent1.sources source1.channels channel1 agent1.sinks sink1.channel channel1 agent1...

Flume學習筆記（一）Flume 組成架構

本文主要記錄我在學習 flume 過程中的一些知識的整理與記錄，預計會做成乙個系列來梳理一下 flume 中的知識，本篇的主要內容為 flume 的組成架構，文中如有疏漏與不足歡迎指正！flume 是 cloudera 提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統。flume...

Flume學習筆記（三）Flume 內部機制

本篇是 flume 學習筆記的第三篇，主要整理 flume 的事務機制以及 event 如何在 agent 中流轉的整個過程。為了保證資料的不丟失，flume 框架在 agent 程序中加入了倆個事物機制，分布為 source channel 和 channel sink，示意圖如下 take 事務...