elk介紹
【elk簡介】
隨著業務的不斷擴大，伺服器的不斷增加，各種服務的不斷增加，相應的日誌量也大量增加，訪問日誌、應用日誌、錯誤日誌種類繁多。
從兩個角度進行分析：1、開發人員的角度來說，還需要去到伺服器上檢視繁多的日誌，無法高效的定位問題所在，所以並不方便；2、運營人員的角度來說，他們也需要獲取一些特定的資料，日誌資料龐大，運維通過grep awk來分析如此龐大的日誌就顯得異常麻煩了。那麼可以做到收集並能方便快速多維度準確的分析日誌的elk應運而生，目前已經成為最流行的集中式日誌解決方案。
總的來說，elk的優勢在於能夠及時高效的通過分析日誌準確的暴露問題所在。
【elk元件介紹】
elk由elasticsearch（下文統一使用es代替）、logstash、kibana三大件構成，近年來隨著技術的更新，又新添了乙個元件--filebeat，當然現在還有結合kafaka、redis、rabbitmq等模式，本文著重講解es+logstash+kibana+filebeat模式。
在開講整體架構之前先帶大家了解一下elk相關一些名詞，es是乙個接近實時的搜尋平台，換乙個角度而言es就是乙個非關係型資料庫，，在elk中常見的一些名詞可以和mysql資料庫進行模擬，如下**所示：
elasticsearch
mysql
index(索引)
database（資料庫）
type（型別）
table（表）
document（文件）
row（行）
field（字段）
column（列）
先來講一下這個模式的架構之後再細細分析每乙個元件吧。先上文字描述：
filebeat部署在需要收集的日誌所在的伺服器上，然後通過filebeat進行日誌收集傳送至logstash，logstash收到filebeat傳來的日誌後，根據配置的策略對資料進行
【filebeat】
其實在早期，採集日誌的工作是由logstash來完成，但是它在消耗資源方面（記憶體、cpu、io等）的能力實在太強，如果用它同時進行採集和分析，那資源消耗可想而知，所以有了在elk 5.0之後，占用cpu和記憶體資源可以忽略不計的beat大家族就誕生了，beat大家族的六個成員如下：
1、packetbeat: 收集網路流量資料
2、metricbeat: 收集系統，程序，檔案系統級別cpu,記憶體使用情況
3、filebeat: 收集日誌等檔案資料
4、winlogbeat windows：收集windows事件日誌資料
5、audibeat：收集審計日誌
6、heartbeat：收集系統執行時的資料
持續更新中，敬請期待.......
（三）ELK系列之Kibana搭建
一 elk系列之elk介紹 二 elk系列之elasticsearch搭建 環境準備 centos7 1810 kibana 6.6.1 10.9.8.93 master node 資源準備 1 kibana包準備 提取碼 fbjo 當然也可以直接用wget在linux裡面獲取 root es1 m...
（五）ELK系列之Filebeat搭建
一 elk系列之elk介紹 二 elk系列之elasticsearch搭建 三 elk系列之kibana搭建 四 elk系列之logstash搭建 1 filebeat包準備 提取碼 fbjo 當然也可以直接用wget在linux裡面獲取 root es1 master node test wget...
ELK原理與介紹
一般我們需要進行日誌分析場景 直接在日誌檔案中 grep awk 就可以獲得自己想要的資訊。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔 文字搜尋太慢怎麼辦 如何多維度查詢。需要集中化的日誌管理，所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統，將所有節點上的...