flume的安裝非常簡單
這就算安裝成功了。。。。。。
開始使用flume
根據資料採集需求配置採集方案，描述在配置檔案中(檔名可任意自定義)
指定採集方案配置檔案，在相應的節點上啟動flume agent
先在flume的conf目錄下新建乙個檔案
vim 安裝路徑/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf
# 定義這個agent中各元件的名字channel引數解釋：a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source元件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.52.120
a1.sources.r1.port = 44444
# 描述和配置sink元件：k1
a1.sinks.k1.type = logger
# 描述和配置channel元件，此處使用是記憶體快取的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# 描述和配置source channel sink之間的連線關係
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
capacity：預設該通道中最大的可以儲存的event數量
trasactioncapacity：每次最大可以從source中拿到或者送到sink中的event數量
啟動配置檔案：
啟動agent去採集資料
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -dflume.root.logger=info,console-c conf 指定flume自身的配置檔案所在目錄
-f conf/netcat-logger.con 指定我們所描述的採集方案
-n a1 指定我們這個agent的名字
SYLogManager實時日誌
sylogmanager log日誌檢視工具。特點 檢視日誌按鈕可拖動的任意位置 使用介紹 示例 匯入標頭檔案 import sylogmanager.h 初始化配置 sylogmanager.sharelog config sylogmanager.sharelog.email 151311301...
細述 GoAccess實時日誌監控
本文章基於ubuntu16.04系統 nginx1.10.3日誌環境 注 nginx使用apt get方式安裝，日誌格式為預設 原始碼安裝 apt get install gcc g libncursesw5 dev wget tar xzvf goaccess 1.2.tar.gz cd goac...
開源實時日誌分析ELK
2018 01 04 開源實時日誌分析elk平台部署 日誌主要包括系統日誌 應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾正錯誤。通常，日誌被分散的儲存不同的裝置上。如...