我們使用微服務開發,一般都會進入集群部署場景,日誌檔案就會散落到多個伺服器上,這時我們要檢視日誌時,都要到對應的伺服器上看,這樣子很麻煩,所以得把日誌全部歸到乙個地方去,統一管理,這樣就方便查詢等了。不需要到處跑。
這裡主要用到的是elk系統,對應elasticsearch、logstash、kibana這三個系統的首字母。
首先這就是乙個日誌系統:
elasticsearch:簡單來說就是具有儲存功能的,就是儲存日誌的,然後還有索引,查詢等功能。我們看到的這些日誌就是存在elasticsearch裡的。就好像是資料庫吧,儲存資料那些。
logstash:就像是乙個通道吧,像io流一樣。外面將資料輸進這個通道,比如kafka資料輸入logstash,然後再將資料從通道裡輸出到其他地方,比如輸出到elasticsearch、redis。
kibana:是乙個資料展示的客戶端,就是上面的那個介面,把elasticsearch裡面的內容顯示出來。
資料流向圖
logs就是我們程式裡所寫的日誌那些,如log.info("查詢請求: {} {}", requesttime, data);
logback就是我們所寫的logback-spring.xml配置檔案,設定日誌一些格式,日誌輸出到哪去,比如輸出到控制台,輸出到一些資料夾中,輸出到kafka裡。輸出到kafka配置如下:
kafka就是我們把日誌輸出到kafka裡。
logstash就是從kafka裡讀取出資料然後寫進logstash中。其中logstash.conf如下:
看,從"10.51.0.0:9092"這個kafka裡寫入,然後輸出到"elasticsearch:9200"中。
elasticsearch就是我們要把資料放進這裡去啦。看上面,logstash將從kafka讀取的資料輸出到elasticsearch了。
kibana:就是客戶端頁面啦。
ELK 日誌系統
elk 日誌系統 elasticsearch,logstash,kibana 實時日誌分析平台 logstash是乙個etl工具,負責從每台機器抓取日誌資料,對資料進行格式轉換和處理後,輸出到elasticsearch中儲存。elasticsearch是乙個分布式搜尋引擎和分析引擎,用於資料儲存,可...
ELk日誌管理平台
大家經常會聽到使用elk搭建日誌管理平台 完成日誌聚合檢索的功能,那麼這個平台到底是個什麼概念,怎麼搭建,怎麼使用呢?elk包括elasticsearch 資料儲存 快速查詢 logstash 日誌蒐集 kibana 展示elasticsearch資料的圖形介面 kibana是乙個圖形介面,可以在上...
ELK日誌簡化方案
elk是現在常用的日誌方案,有多種組合方式 elasticsearch kibana logstash 由logstash收集各終端的日誌,過濾後發到送elasticsearch,但logstatsh比較耗資源,會影響本地應用的效能 elasticsearch kibana filebeat 改由輕...