Flume 1 監控本機埠資料

首先，flume監控本機44444埠，然後通過telnet工具向44444埠傳送訊息，最後flume將監聽的資料實時顯示在控制台。

dflume 動態修改引數。

a．檢測telnet-server的rpm包是否安裝

[ck@hadoop102 ~]$ rpm -qa telnet-server

[ck@hadoop102 software]$ sudo rpm -ivh xinetd-2.3.15-14

.el7.x86_64.rpm
[ck@hadoop102 software]$ 
sudo rpm -ivh telnet-0.17-65
.el7_8.x86_64.rpm
[ck@hadoop102 software]$ 
sudo rpm -ivh telnet-server-0.17-64.el7.x86_64.rpm

[ck@hadoop102 software]$ sudo netstat -tunlp | grep

44444

基本語法：netstat[選項]

選項引數：

-t或--tcp：顯示tcp傳輸協議的連線狀況。

-u或--udp：顯示udp傳輸協議的連線狀況；

-l或--listening：顯示監控中的伺服器的socket；

-p或--programs：顯示正在使用socket的程式識別和程式名稱；

在flume目錄下建立job資料夾並進入job資料夾。

[ck@hadoop102 flume-1.9.0]$ mkdir

job[ck@hadoop102 flume-1.9.0]$ cd job

[ck@hadoop102 job]$ touch flume-telnet-logger.conf

[ck@hadoop102 job]$ vim flume-telnet-logger.conf

# name the components on this agent  #a1:標識agent的名稱

a1.sources =r1      #r1：標識a1的輸入源
a1.sinks =k1        #k1：表示a1的輸出目的地
a1.channels =c1     #c1：表示a1的緩衝區
# describe/configure the source
a1.sources.r1.type =netcat     #表示a1的輸入源型別為netcat埠型別
a1.sources.r1.bind =localhost  #表示a1的監聽的主機
a1.sources.r1.port = 44444      #表示a1的監聽的埠號
# describe the sink
a1.sinks.k1.type =logger       #表示a1的輸出目的地是控制台logger型別
# use a channel 
which buffers events in
memory
a1.channels.c1.type =memory    #表示a1的channel型別是memory記憶體型
a1.channels.c1.capacity = 1000  #表示a1的channel總容量是1000個event
a1.channels.c1.transactioncapacity = 100  #表示a1的channel傳輸時收集到了100條event以後再去提交事務
# bind the source and sink to the channel
a1.sources.r1.channels =c1        # 表示將r1 和c1連線起來
a1.sinks.k1.channel = c1           # 表示將k1 和c1連線起來

[ck@hadoop102 flume-1.9.0]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -dflume.root.logger=info,console

--conf conf/：表示配置檔案儲存在conf/目錄

--name a1 ：表示給agent起名為a1

--conf-file job/flume-telnet-logger.conf：flume本次啟動讀取的配置檔案是在job檔案下的 flume-telnet-logger.conf檔案。

-dflume.root.logger=info,console ：-d表示flume執行是動態修改flume.root.logger引數屬性值，並將控制台日誌列印級別設定為info級別。日誌級別包括：log、info、warn、error。

[ck@hadoop102 etc]$ telnet localhost 44444

Flume對接Kafka，Kafka監控

1 配置flume flume kafka.conf definea1.sources r1a1.sinks k1a1.channels c1 sourcea1.sources.r1.type execa1.sources.r1.command tail f c 0 opt module datas...

Flume 知識點（六）Flume 的監控

使用 flume 實時收集日誌的過程中，儘管有事務機制保證資料不丟失，但仍然需要時刻關注 source channel sink 之間的訊息傳輸是否正常。比如，soucechannel 傳輸了多少訊息，channelsink 又傳輸了多少，兩處的訊息量是否偏差過大等等。flume 為我們提供了 mo...

Flume 監控目錄檔案 spooldir

flume應用場景中監控某個目錄下的檔案進行讀取使用的很多，flume通過source型別為spooldir來進行監控目錄下檔案，當新增檔案時，flume可將檔案進行讀取，開發者只需要編寫對應的檔案序列化器即可將讀取的檔案轉存至hbase hdfs 或者其他希望的資料格式。test agent.so...