我們已經了解了使用flume監聽埠以及檔案內容，本節將展示使用flume去監聽乙個資料夾並且上傳其中的檔案到hdfs。
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spooldir = /root/upload
a1.sources.r1.basenameheader = true
a1.sources.r1.basenameheaderkey = filename
# describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs:
a1.sinks.k1.hdfs.fileprefix = %
# use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.channels.c1.type = file
cp /root/hadoop-2.5.2/share/hadoop/common/*.jar /root/apache-flume-1.8.0-bin/lib/
cp /root/hadoop-2.5.2/share/hadoop/common/lib/*.jar /root/apache-flume-1.8.0-bin/lib/
# 進入flume啟動目錄
cd /root/apache-flume-1.8.0-bin/bin
# 啟動flume並申明a1服務
./flume-ng agent -c ../conf -f ../conf/flume-conf.properties -n a1 -dflume.root.logger=info,console
# 建立對應的資料夾
mkdir -p /root/upload
以上就是通過flume監聽資料夾變化並上傳檔案到hdfs。
Flume監聽資料夾的變動 03
把agent起個名叫a3,sources叫r3,sinks叫k3.hdfs,channels叫c3 a3.sources r3 a3.sinks k3 a3.channels c3 describe configure the source a3.sources.r3.type spooldir a...
springboot 監聽檔案和資料夾改動
專案中有需要監聽檔案 資料夾的需求，以便在檔案 資料夾發生變化時出發相應的業務流程。這裡使用spring boot apache commons io方案。另外，apache commons io涉及到多執行緒的應用，專案中應指定執行緒池的相關配置，參考spring boot 執行緒池配置。1.設定...
flume的檔案跟蹤配置 資料夾 hdfs
1.建立配置檔案 vim dir hdfs.conf spooldir flume中自帶的讀取目錄的source，只要出現新檔案就會被讀走 定義三大元件的名稱 ag1.sources source1 ag1.sinks sink1 ag1.channels channel1 配置source元件 a...