flume案例 網路資料採集 Flume的配置

開發配置檔案

根據資料採集的需求配置採集方案，描述在配置檔案中(檔名可任意自定義)

配置我們的網路收集的配置檔案

在flume的conf目錄下新建乙個配置檔案（採集方案）

vim /export/servers/apache-flume-1.8.0-bin/conf/netcat-logger.conf

# 定義這個agent中各元件的名字

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source元件：r1

a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.174.
a1.sources.r1.port = 44444

# 描述和配置sink元件：k1

a1.sinks.k1.type = logger

# 描述和配置channel元件，此處使用是記憶體快取的方式

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100

# 描述和配置source channel sink之間的連線關係

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume採集案例

1 採集目錄到hdfs 採集需求 某伺服器的某特定目錄下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去 根據需求，首先定義以下3大要素 採集源，即source 監控檔案目錄 spooldir 下沉目標，即sink hdfs檔案系統 hdfs sink source和sink之...

Flume（03） Flume採集案例

需求分析 採集需求 某伺服器的某特定目錄 export servers dirfile下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去。需求分析 通過flume採集資料，最重要的就是配置三大元件。這裡可以通過source來監控檔案目錄。通過channel，來將source採集...

flume資料採集扇入

conf檔案的定義 1 agent a3.sources r3 r4 a3.sinks k3 a3.channels c3 2 source 監控目錄的型別 a3.sources.r3.type spooldir 監控目錄的路徑 a3.sources.r3.spooldir opt model ha...