當我們部署集群伺服器的時候，日誌檔案就會散落在多台伺服器上。檢視日誌資訊就需要到各個伺服器上去取和檢視，我們把這些日誌檔案歸集到乙個地方統一管理。
這個時候elk系統出現了，elk是elasticsearch、logstashh和kibana三個系統的首字母組合。
當然elk不只是檢視日誌功能這麼簡單，還有更多的應用。
elasticsearch是個開源分布式搜尋引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。
logstash是乙個完全開源的工具，他可以對你的日誌進行收集、過濾，並將其儲存供以後使用（如，搜尋）。
kibana 也是乙個開源和免費的工具，kibana可以為 logstash 和 elasticsearch 提供的日誌分析友好的 web 介面，可以幫助您彙總、分析和搜尋重要資料日誌。
在需要收集日誌的所有服務上部署logstash，作為logstash agent（logstash shipper）用於監控並過濾收集日誌，將過濾後的內容傳送到redis，然後logstash indexer將日誌收集在一起交給全文搜尋服務elasticsearch，可以用elasticsearch進行自定義搜尋通過kibana 來結合自定義搜尋進行頁面展示。
elk部署最簡單的方式就是l-e-k方式，不新增任何其他輔助系統，部署簡單快速，容易上手。
第二種方式：在l-e之間新增一層redis輔助，這樣能夠減少日誌在服務端的積壓，把壓力轉移到elk系統伺服器上。這種方式新增redis之後，由於redis是記憶體系統所以響應速度很快，而且可以在redis後新增多個消費系統（logstash），來擴充套件消費能力，增強處理速度。
第三種方式：隨著業務的增長，伺服器部署集群，redis單點故障問題等等，上面的方案已滿足不了我們的需求，這個時候我們可以使用kafka來代替redis，kafka相關部署這裡不詳述，可檢視相關資料。
參考文章
ELK 日誌分析系統
elk就是一套完整的日誌分析系統 elk logstash elasticsearch kibana 統一官網 elk模組說明 logstash 作用 用於處理傳入的日誌，負責收集 過濾和寫出日誌 logstash分為三個元件input，filter，output 輸入input 常用file，re...
部署elk日誌分析系統
日誌分析是運維工程師解決系統故障，發現問題的主要手段。日誌主要包括系統日誌 應用程 序日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的 錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾 正錯誤。通常，日誌被分散的儲存在不同的裝...
elk日誌分析系統（二）
上篇部落格介紹關於elk的原理和搭建 elk日誌分析系統 一 但這種架構只適合資料量不大且可靠性不強的業務使用，當大併發情況下，由於日誌傳輸峰值比較大，沒有訊息佇列來做緩衝，就會導致 elasticsearch 集群丟失數，所以需要對架構做進一步的擴充套件，引入kafka集群。filebeat收集日...