ELK日誌處理之Filebeat工作原理

beats是elastic stack技術棧中輕量級的日誌採集器，beats家族包括以下五個成員:

filebeat：輕量級的日誌採集器，可用於收集檔案資料。

metricbeat：5.0版本之前名為topbeat，蒐集系統、程序和檔案系統級別的 cpu 和記憶體使用情況等資料。

packetbeat：收集網路流資料，可以實時監控系統應用和服務，可以將延遲時間、錯誤、響應時間、sla效能等資訊傳送到logstash或elasticsearch。

winlogbeat：蒐集windows事件日誌資料。

heartbeat：監控伺服器執行狀態。

elk架構中使用logstash收集、解析日誌，但是logstash對記憶體、cpu、io等資源消耗比較高。相比 logstash，beats所佔系統的cpu和記憶體幾乎可以忽略不計。

elasticsearch、logstash、kibana組合成為elk stack，beats+elk stack=elastic stack

filebeat是使用go語言開發，工作原理如下：當filebeat啟動時，它會啟動乙個或者多個prospector監控日誌路徑或日誌檔案，每個日誌檔案會有乙個對應的harvester，harvester按行讀取日誌內容並**至後台程式。filebeat維護乙個記錄檔案讀取資訊的註冊檔案，記錄每個harvester最後讀取位置的偏移量。

下面是乙個簡單的filebeat配置，採集2個資料夾下的日誌並**至logstash。

filebeat:

prospectors:

-paths:

- /dir1/access_log.*

input_type: log

document_type: dir1_log

-paths:

- /dir2/ofbiz.log.*

input_type: log

document_type: dir2_log

output:

logstash:

hosts: ["10.90.4.9:5044"]

在logstash中根據 document_type定**析日誌的正則並輸出到elasticsearch集群。

input

}filter "}

}} else if ([type]=="dir2_log") \s*% \[\s*%\:%\s*\:%\s*\]\s*(?([\s\s]*))"}}}}

output

}

ELK日誌處理之Filebeat工作原理

beats是elastic stack技術棧中輕量級的日誌採集器，beats家族包括以下五個成員 elk架構中使用logstash收集 解析日誌，但是logstash對記憶體 cpu io等資源消耗比較高。相比 logstash，beats所佔系統的cpu和記憶體幾乎可以忽略不計。elasticse...

利用 ELK 處理 Percona 審計日誌

percona server為 mysql 資料庫伺服器進行了改進，在功能和效能上較 mysql 有著很顯著的提公升。該版本提公升了在高負載情況下的 innodb 的效能 為 dba 提供一些非常有用的效能診斷工具 另外有更多的引數和命令來控 務器行為前提 1 有強烈的審計需求。2 能允許10 15...

ELK 日誌處理開發指南

elk 是 elastic 公司出品的開源實時日誌處理與分析解決方案，elk 分別代表分布式搜尋引擎 elasticsearch 日誌採集與解析工具 logstash 日誌視覺化分析工具kibana，具有配置方式靈活 集群可線性擴充套件 日誌實時匯入 檢索效能高效 視覺化分析方便等優點，已經成為業界...