日誌收集機制：
logfile》filebeat》kafka》logstash》elasticsearch》kibana
filebeat部署在每台機器上負責抓取日誌檔案的資料（logstash也可以抓取資料，但是太重。用清量的filebeat方便部署在每台機器上。）
kafaka作為佇列快取，以防過大日誌量打入logstash
logstash只負責資料過濾功能
日誌資料最終儲存在有強大搜尋功能的es中。
kibana在web端作展現。
網路抓包工具。使用packbeat可以抓取tcpip協議的網路包。最終儲存到es中。
目前packbeat本身支援mysql、redis、mc、http等協議的解析。
flume 網路日誌收集
channels 記憶體 sink 本地 a1.sources s1 a1.channels c1 a1.sinks k1 tcp協議 a1.sources.s1.type syslogtcp a1.sources.s1.port 5140 a1.sources.s1.host wangfutai ...
伺服器日誌收集方案
方案 使用elk方案，採用flume採集日誌，然後將日誌存入訊息佇列或直接在程式中使用logback連線kafka 使用logstash從kafka中讀取資料，進行一定的處理 logstash處理資料後進入到elasticsearch中 我們這邊採用的開發框架基本都是基於springboot和spr...
FLUME日誌收集
flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依...