Flume監聽埠資料

2021-10-10 19:53:41 字數 1878 閱讀 4308

(1)需求:使用flume監聽乙個埠,收集該埠資料並列印。

(2)實現步驟

1.安裝netcat工具

yum install nc #安裝netcat工具
"正在嘗試其他映象…」

使用yun clean allrpm --rebuilddb應該可以解決。

2.判斷埠是否被占用

netstat -tunpl | grep 44444
如果報錯

-bash netstat找不到命令

安裝net-tools即可

`yum install net-tools #安裝net-tools`
3.進入flume目錄,並建立job資料夾,並寫入檔案flume-netcat-logger.conf

cd /usr/flume  #進入flume目錄

mkdir job #建立job資料夾

cd job #進入job資料夾

vi flume-netcat-logger.conf #編輯檔案

檔案內容:

# name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# describe/configure the source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost #本地

a1.sources.r1.port = 44444 #埠號

# describe the sink

a1.sinks.k1.type = logger

# use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactioncapacity = 100

# bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

4.開啟埠,先進入flume目錄

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -dflume.root.logger=info,console
5.開啟乙個新視窗,使用netcat工具向本機44444埠傳送內容

nc localhost 44444
隨便寫入點東西,在舊視窗觀察接收資料

hello
6.舊視窗接收到「hello」資料

Flume 1 監控本機埠資料

首先,flume監控本機44444埠,然後通過telnet工具向44444埠傳送訊息,最後flume將監聽的資料實時顯示在控制台。dflume 動態修改引數。a 檢測telnet server的rpm包是否安裝 ck hadoop102 rpm qa telnet serverb.安裝xinetd ...

大資料技術之Flume(監控埠資料)

目標 flume監控一端console,另一端console傳送訊息,使被監控端實時顯示。分步實現 1 安裝telnet工具 2 建立flume agent配置檔案flume telnet.conf 定義agent a1.sources r1 a1.sinks k1 a1.channels c1 定...

伺服器本地埠資料監聽

usr bin python3 coding utf 8 本 是旨在接收分批接收資料 from socket import from time import ctime import re import sys def stringtoint string,num i 0 list string s...