一般我們需要進行日誌分析場景：直接在日誌檔案中 grep、awk 就可以獲得自己想要的資訊。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔、文字搜尋太慢怎麼辦、如何多維度查詢。需要集中化的日誌管理，所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統，將所有節點上的日誌統一收集，管理，訪問。
一般大型系統是乙個分布式部署的架構，不同的服務模組部署在不同的伺服器上，問題出現時，大部分情況需要根據問題暴露的關鍵資訊，定位到具體的伺服器和服務模組，構建一套集中式日誌系統，可以提高定位問題的效率。
乙個完整的集中式日誌系統，需要包含以下幾個主要特點：
1.收集－能夠採集多種**的日誌資料
2.傳輸－能夠穩定的把日誌資料傳輸到**系統
3.儲存－如何儲存日誌資料
4.分析－可以支援 ui 分析
5.警告－能夠提供錯誤報告，監控機制
elk提供了一整套解決方案，並且都是開源軟體，之間互相配合使用，完美銜接，高效的滿足了很多場合的應用。目前主流的一種日誌系統。
elk是三個開源軟體的縮寫，分別表示：elasticsearch , logstash, kibana , 它們都是開源軟體。新增了乙個filebeat，它是乙個輕量級的日誌收集處理工具(agent)，filebeat占用資源少，適合於在各個伺服器上蒐集日誌後傳輸給logstash，官方也推薦此工具。
elasticsearch是個開源分布式搜尋引擎，提供蒐集、分析、儲存資料三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。
logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支援大量的資料獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。
kibana 也是乙個開源和免費的工具，kibana可以為 logstash 和 elasticsearch 提供的日誌分析友好的 web 介面，可以幫助彙總、分析和搜尋重要資料日誌。
filebeat隸屬於beats。目前beats包含四種工具：
1.packetbeat（蒐集網路流量資料）
2.topbeat（蒐集系統、程序和檔案系統級別的 cpu 和記憶體使用情況等資料）
3.filebeat（蒐集檔案資料）
4.winlogbeat（蒐集 windows 事件日誌資料）
簡單介紹ELK 元件與歷史
elk 需求背景 為什麼要用到elk 一般我們需要進行日誌分析 直接在日誌檔案中 awk grep就可以獲取想要的資訊。但是規模較大時，些方法效率很低。日誌歸檔，文字搜尋，多維度查詢 需要集中化日誌管理 建立集中式日誌收集系統，將所有節點上的日誌統一收集，管理，訪問。分布式部署架構，不由的服務模式部...
簡單介紹ELK 元件與歷史
elk 需求背景 為什麼要用到elk 一般我們需要進行日誌分析 直接在日誌檔案中 awk grep就可以獲取想要的資訊。但是規模較大時，些方法效率很低。日誌歸檔，文字搜尋，多維度查詢 需要集中化日誌管理 建立集中式日誌收集系統，將所有節點上的日誌統一收集，管理，訪問。分布式部署架構，不由的服務模式部...
（一）ELK系列之ELK介紹
elk介紹 elk簡介 隨著業務的不斷擴大，伺服器的不斷增加，各種服務的不斷增加，相應的日誌量也大量增加，訪問日誌 應用日誌 錯誤日誌種類繁多。從兩個角度進行分析 1 開發人員的角度來說，還需要去到伺服器上檢視繁多的日誌，無法高效的定位問題所在，所以並不方便 2 運營人員的角度來說，他們也需要獲取一...