一、elk簡介 :elasticsearch+logstash+kibana
二、logstash概述:收集、轉換和儲存資料
logstash最主要的任務就是收集資料,轉換資料和儲存資料,分別對應了(輸入、過濾、輸出)
1. 原理介紹:
stdin-標準輸入
file-指定檔案讀取資料並輸入到logstash
tcp-tcp輸入
. . .
grok-利用正則對資料進行結構化處理
date-時間處理器
mutate-資料修改
. . .
stdout-標準輸出
elasticsearch-將處理後的資料輸出到elasticsearch中
file-將處理後的資料輸出到指定檔案中
ELK 使用Docker快速搭建
elk 是三個開源專案的首字母縮寫,這三個專案分別是 elasticsearch logstash 和 kibana。elasticsearch 是乙個搜尋和分析引擎。logstash 是伺服器端資料處理管道,能夠同時從多個 採集資料,轉換資料,然後將資料傳送到諸如 elasticsearch 等 ...
ELK集群的搭建
虛擬機器在關機狀態時,複製。使用完全複製,並重新初始化所有網絡卡的mac位址。在此我們複製兩個。1 網路位址 因為虛擬機器是複製的,所以他的位址與本機一樣,我們在使用前需要修改為不同的位址。每個虛擬機器的名字也是一樣,都需要修改。1 輸入 vi etc sysconfig network scrip...
使用Docker搭建ELK日誌蒐集系統 三
fluentd是用ruby編寫的,具有靈活性,對效能敏感的部分是用c編寫的 這就是為什麼treasure data,inc提供穩定的fluentd td agent 的原因。fluentd和td agent的區別在這裡。1.安裝fluentd的td agent curl l sh systemctl...