分析:對於日誌收集、分析、處理並應用於市場:
嗅到商機的兩家公司:日誌易(純elk)、splunk公司。
常用的elk其實是三款軟體:
e:elasticsearch 搜尋引擎 儲存
l:logstash 日誌收集 vs flume
k:kibana 展示
eg:日誌進來後放到es,通過kibana來顯示。
nginx會自動記錄訪問**的ip,負載均衡。
注意elasticsearch:不光光可以做搜尋,也可以作為儲存來用,但是就資料量來說要乙個可控範圍,要在機器承受和我們評估範圍內。
hbase+impala+solr
hbase+phoenix
zabbix mysql圖,每分鐘的insert update語句的值,zabbix呈現不是很好。
建議使用elk做了一套對kafka的監控,對於apache kafka的監控。
eg:生產上所有伺服器的資料都用elk去收集。elk+beats
nigix --> access.log --> logstash收集 後傳送乙個index名稱 --> elastic --> kibana
部署容易,難點:1、l端,格式標不標準,根據業務專案來書
2、e端:它安裝好後無外部介面,需要裝乙個head外掛程式才能有外部介面 *****
注意:elastic公司從5.0版本開始把elk統一了。不管前面是什麼版本,就懂5.0版本開始往後切,雖然名字是5.0;elastic公司把相容性最好的版本拎出來,命名為5.0找人下
前置所需軟體安裝包:
提取碼:zpw5
各個軟體進行解壓:
1、進入到elastic的config目錄下,修改elasticsearch.yml配置檔案
[hadoop@hadoop002 config]$ pwd
[hadoop@hadoop002 config]$ ll
-rw-rw---- 1 hadoop hadoop 2854 nov 11 2017 elasticsearch.yml
2、進行引數修改:
node:
node.name: node-1 --> node.name: node132
path:
network:
network.host: 192.168.0.1 --> network.host:10.0.0.132
3、啟動elasticsearch:
bin/elasticsearch
啟動完成後,在elasticsearch目錄下會生成logs目錄,
4、檢視elastic有沒有啟動:
ELK 企業搭建實戰 3
接上篇elk搭建文章 5 filebeat 隸屬於beats,輕量級資料收集引擎。基於原先 logstash fowarder 的原始碼改造出來。換句話說 filebeat就是新版的 logstash fowarder,目前beats包含四種工具 為什麼用 filebeat 而不用原來的 logst...
ELK安裝入門
簡介 elk 由 elasticsearch logstash 和kiabana 三個開源工具組成。官方 1 elasticsearch 是個開源分布式搜尋引擎,它的特點有 分布式,零配置,自動發現,索引自動分片,索引副本機制,restful 風格介面,多資料來源,自動搜尋負載等。2 logstas...
elk入門概念詳解
開始第一步 我們現在開始進行乙個簡單教程,它涵蓋了一些基本的概念介紹,比如索引 indexing 搜尋 search 以及聚合 aggregations 通過這個教程,我們可以讓你對elasticsearch能做的事以及其易用程度有乙個大致的感覺。我們接下來將陸續介紹一些術語和基本的概念,但就算你沒...