ELK的搭建與使用(一)

2021-08-21 05:11:00 字數 397 閱讀 7312

一、elk簡介 :elasticsearch+logstash+kibana

二、logstash概述:收集、轉換和儲存資料

logstash最主要的任務就是收集資料,轉換資料和儲存資料,分別對應了(輸入、過濾、輸出)

1. 原理介紹:

stdin-標準輸入

file-指定檔案讀取資料並輸入到logstash

tcp-tcp輸入

. . .

grok-利用正則對資料進行結構化處理

date-時間處理器

mutate-資料修改

. . .

stdout-標準輸出

elasticsearch-將處理後的資料輸出到elasticsearch中

file-將處理後的資料輸出到指定檔案中

ELK 使用Docker快速搭建

elk 是三個開源專案的首字母縮寫,這三個專案分別是 elasticsearch logstash 和 kibana。elasticsearch 是乙個搜尋和分析引擎。logstash 是伺服器端資料處理管道,能夠同時從多個 採集資料,轉換資料,然後將資料傳送到諸如 elasticsearch 等 ...

ELK集群的搭建

虛擬機器在關機狀態時,複製。使用完全複製,並重新初始化所有網絡卡的mac位址。在此我們複製兩個。1 網路位址 因為虛擬機器是複製的,所以他的位址與本機一樣,我們在使用前需要修改為不同的位址。每個虛擬機器的名字也是一樣,都需要修改。1 輸入 vi etc sysconfig network scrip...

使用Docker搭建ELK日誌蒐集系統 三

fluentd是用ruby編寫的,具有靈活性,對效能敏感的部分是用c編寫的 這就是為什麼treasure data,inc提供穩定的fluentd td agent 的原因。fluentd和td agent的區別在這裡。1.安裝fluentd的td agent curl l sh systemctl...