Flume 入門案例1

監控埠資料官方案例

1）案例需求：

使用 flume 監聽乙個埠，收集該埠資料，並列印到控制台。

2）需求分析：

在這裡插入描述

3）實現步驟：

1.安裝 netcat 工具

yum install -y nc

netstat -tunlp | grep 44444

在flume下建立

mkdir job

vim flume-netcat-logger.conf

4. 先開啟 flume 監聽埠

第一種寫法

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf dflume.root.logger=info,console

bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -dflume.root.logger=info,console

–conf/-c：表示配置檔案儲存在 conf/目錄

–name/-n：表示給 agent 起名為 a1

–conf-file/-f：flume 本次啟動讀取的配置檔案是在 job 資料夾下的 flume-telnet.conf

檔案。-dflume.root.logger=info,console ：-d 表示 flume 執行時動態修改 flume.root.logger

引數屬性值，並將控制台日誌列印級別設定為 info 級別。日誌級別包括:log、info、warn、

error。

5．使用 netcat 工具向本機的 44444 埠傳送內容

nc localhost 44444

Flume 入門案例

案例需求 使用 flume 監聽乙個埠，收集該埠資料，並列印到控制台。安裝 netcat 工具 判斷 44444 埠是否被占用 sudo netstat nlp grep 44444在 flume 目錄下建立 job 資料夾並進入 job 資料夾。mkdir job cd job在 job 資料夾下...

Flume安裝啟動，入門案例

1，上傳解壓 tar zxvf apache flume 1.9.0 bin.tar.gz c ok，完成，解壓即用 2，啟動 根據資料採集的需求配置採集方案，描述在配置檔案中 檔名可任意自定義 啟動命令示例 bin flume ng agent c conf f agentconf taildir...

flume採集案例

1 採集目錄到hdfs 採集需求 某伺服器的某特定目錄下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去 根據需求，首先定義以下3大要素 採集源，即source 監控檔案目錄 spooldir 下沉目標，即sink hdfs檔案系統 hdfs sink source和sink之...