簡單介紹ELK 元件與歷史

2021-09-10 18:25:47 字數 1184 閱讀 3072

elk 需求背景:

為什麼要用到elk:

一般我們需要進行日誌分析:直接在日誌檔案中 awk grep就可以獲取想要的資訊。但是規模較大時,些方法效率很低。

日誌歸檔,文字搜尋,多維度查詢 ==>> 需要集中化日誌管理

建立集中式日誌收集系統,將所有節點上的日誌統一收集,管理,訪問。 分布式部署架構,不由的服務模式部署在不同的伺服器上,問題出現時,大部分情況需要根據問題暴露關鍵資訊,定位到具體的伺服器與服務模組,構建一套集中式日誌系統,可以提高定位問題效率。

需求:elk元件簡介

是三個開源軟體縮寫,分別為:elasticsearch, logstash, kibana 。都是開源軟體。現在還新增了乙個beats,它是乙個輕量級的日誌收集處理工具agent, beats占用資源少,適合於各個伺服器上蒐集日誌後傳輸給logstash. 目前加了beats工具所以已經改名為elastic stack.

elasticsearch

elasticsearch是個開源分布式搜尋引擎,提供蒐集,分析,儲存資料三大功能。它的特點有:分布式,零配置,自動發現,索引自動分版,索引副本機制,restfull風格介面,多資料來源,自動搜尋負載等。

logstash

logstash 主要是用來日誌的蒐集,分析,過濾日誌的工具支援大量的資料獲取方式。一般工作方式為c/s架構,client端安裝在需要收集日誌的主機上,server端負責將收到各節點進行過濾,修改等操作一併發到elasticsearch上。

kibana

kibana 也是乙個開源和免費的工具,kibana可以為logstash和elasticsearch提供日誌分析友好的web介面,可以幫助彙總,分析和搜尋重要資料日誌。

beats

beats 是乙個輕量級日誌採集器,家族有6個成員,早期的elk架構中使用logstash收集,解析日誌,但是logstash對記憶體,cpu, io 等資源消耗高。 而beats所佔系統的cpu,記憶體可以忽略不計。

elk stack (5.0版本後) -->> elk stack + beats

x-pack 工具

提供安全,警報,監控,報表,圖表於一身的擴充套件包,是收費的。

簡單介紹ELK 元件與歷史

elk 需求背景 為什麼要用到elk 一般我們需要進行日誌分析 直接在日誌檔案中 awk grep就可以獲取想要的資訊。但是規模較大時,些方法效率很低。日誌歸檔,文字搜尋,多維度查詢 需要集中化日誌管理 建立集中式日誌收集系統,將所有節點上的日誌統一收集,管理,訪問。分布式部署架構,不由的服務模式部...

ELK原理與介紹

一般我們需要進行日誌分析場景 直接在日誌檔案中 grep awk 就可以獲得自己想要的資訊。但在規模較大的場景中,此方法效率低下,面臨問題包括日誌量太大如何歸檔 文字搜尋太慢怎麼辦 如何多維度查詢。需要集中化的日誌管理,所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統,將所有節點上的...

常用基本元件簡單介紹

一 基本矩形 矩形1 帶邊框的長方形,可以新增文字,通過樣式控制邊框 背景色 字型等。矩形2 不帶邊框的長方形,可以新增文字,通過樣式控制邊框 背景色 字型等。矩形3 不帶邊框的長方形,可以新增文字,通過樣式控制邊框 背景色 字型等。橢圓形 帶邊框的圓形,可以新增文字,通過樣式控制邊框 背景色 字型...