(1)需求:使用flume監聽乙個埠,收集該埠資料並列印。
(2)實現步驟:
1.安裝netcat
工具
yum install nc #安裝netcat工具
"正在嘗試其他映象…」使用
yun clean all
和rpm --rebuilddb
應該可以解決。
2.判斷埠是否被占用
netstat -tunpl | grep 44444
如果報錯
-bash netstat找不到命令安裝net-tools即可
`yum install net-tools #安裝net-tools`
3.進入flume目錄,並建立job資料夾,並寫入檔案flume-netcat-logger.conf
cd /usr/flume #進入flume目錄
mkdir job #建立job資料夾
cd job #進入job資料夾
vi flume-netcat-logger.conf #編輯檔案
檔案內容:
# name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost #本地
a1.sources.r1.port = 44444 #埠號
# describe the sink
a1.sinks.k1.type = logger
# use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
4.開啟埠,先進入flume目錄
bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -dflume.root.logger=info,console
5.開啟乙個新視窗,使用netcat工具向本機44444埠傳送內容
nc localhost 44444
隨便寫入點東西,在舊視窗觀察接收資料
hello
6.舊視窗接收到「hello」
資料
Flume 1 監控本機埠資料
首先,flume監控本機44444埠,然後通過telnet工具向44444埠傳送訊息,最後flume將監聽的資料實時顯示在控制台。dflume 動態修改引數。a 檢測telnet server的rpm包是否安裝 ck hadoop102 rpm qa telnet serverb.安裝xinetd ...
大資料技術之Flume(監控埠資料)
目標 flume監控一端console,另一端console傳送訊息,使被監控端實時顯示。分步實現 1 安裝telnet工具 2 建立flume agent配置檔案flume telnet.conf 定義agent a1.sources r1 a1.sinks k1 a1.channels c1 定...
伺服器本地埠資料監聽
usr bin python3 coding utf 8 本 是旨在接收分批接收資料 from socket import from time import ctime import re import sys def stringtoint string,num i 0 list string s...