Flume學習筆記

2021-08-20 11:37:14 字數 948 閱讀 1099

agent1.sources = source1


agent1.sinks=sink1


agent1.channels=channel1


agent1.sources


.source1.channels=channel1


agent1.sinks


.sink1.channel=channel1


agent1.sources


.source1.type =spooldir


agent1.sinks


.sink1.channel=/tmp/spooldir


agent1.sinks


.sink1.type=hdfs


agent1.sinks


.sink1.hdfs


.path/tmp/flume


agent1.sinks


.sink1.hdfs


.fileprefix=events


agent1.sinks


.sink1.hdfs


.filesuffix=.log


agent1.sinks


.sink1.hdfs


.inuseprefix=_


agent1.sinks


.sink2.hdfs


.filetype=datastream


agent1.channels


.channel1.type=file
配置檔案大體內容

flume啟動命令

# flume-ng agent -n agent -c . -f ./flume.conf
-c 指定配置檔案路徑，-f 指定配置檔案，如果啟動命令沒有-dflume.root.logger=info,console，則在使用預設配置，如果在啟動命令後加上-dflume則會覆蓋預設配置，然後啟動。

Flume學習筆記

一，flume概述 flume是乙個分布式，可靠的，高可用的海量日誌採集，聚合和傳輸系統。flume的作用 支援在日誌系統中定製各類資料的傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各資料的接受方 比如文字，hdfs，hbase等 的功能。二，組成 1 flume分布式系統中...

Flume學習筆記（一）Flume 組成架構

本文主要記錄我在學習 flume 過程中的一些知識的整理與記錄，預計會做成乙個系列來梳理一下 flume 中的知識，本篇的主要內容為 flume 的組成架構，文中如有疏漏與不足歡迎指正！flume 是 cloudera 提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統。flume...

Flume學習筆記（三）Flume 內部機制

本篇是 flume 學習筆記的第三篇，主要整理 flume 的事務機制以及 event 如何在 agent 中流轉的整個過程。為了保證資料的不丟失，flume 框架在 agent 程序中加入了倆個事物機制，分布為 source channel 和 channel sink，示意圖如下 take 事務...