ELK入門實戰 一

2021-09-25 13:49:48 字數 1657 閱讀 8208

分析:對於日誌收集、分析、處理並應用於市場:

嗅到商機的兩家公司:日誌易(純elk)、splunk公司。

常用的elk其實是三款軟體:

e:elasticsearch 搜尋引擎 儲存

l:logstash 日誌收集 vs flume

k:kibana 展示

eg:日誌進來後放到es,通過kibana來顯示。

nginx會自動記錄訪問**的ip,負載均衡。

注意elasticsearch:不光光可以做搜尋,也可以作為儲存來用,但是就資料量來說要乙個可控範圍,要在機器承受和我們評估範圍內。

hbase+impala+solr

hbase+phoenix

zabbix mysql圖,每分鐘的insert update語句的值,zabbix呈現不是很好。

建議使用elk做了一套對kafka的監控,對於apache kafka的監控。

eg:生產上所有伺服器的資料都用elk去收集。elk+beats

nigix --> access.log --> logstash收集 後傳送乙個index名稱 --> elastic --> kibana

部署容易,難點:1、l端,格式標不標準,根據業務專案來書

2、e端:它安裝好後無外部介面,需要裝乙個head外掛程式才能有外部介面 *****

注意:elastic公司從5.0版本開始把elk統一了。不管前面是什麼版本,就懂5.0版本開始往後切,雖然名字是5.0;elastic公司把相容性最好的版本拎出來,命名為5.0找人下

前置所需軟體安裝包:

提取碼:zpw5

各個軟體進行解壓:

1、進入到elastic的config目錄下,修改elasticsearch.yml配置檔案

[hadoop@hadoop002 config]$ pwd

[hadoop@hadoop002 config]$ ll

-rw-rw---- 1 hadoop hadoop 2854 nov 11 2017 elasticsearch.yml

2、進行引數修改:

node:

node.name: node-1 --> node.name: node132

path:

network:

network.host: 192.168.0.1 --> network.host:10.0.0.132

3、啟動elasticsearch:

bin/elasticsearch

啟動完成後,在elasticsearch目錄下會生成logs目錄,

4、檢視elastic有沒有啟動:

ELK 企業搭建實戰 3

接上篇elk搭建文章 5 filebeat 隸屬於beats,輕量級資料收集引擎。基於原先 logstash fowarder 的原始碼改造出來。換句話說 filebeat就是新版的 logstash fowarder,目前beats包含四種工具 為什麼用 filebeat 而不用原來的 logst...

ELK安裝入門

簡介 elk 由 elasticsearch logstash 和kiabana 三個開源工具組成。官方 1 elasticsearch 是個開源分布式搜尋引擎,它的特點有 分布式,零配置,自動發現,索引自動分片,索引副本機制,restful 風格介面,多資料來源,自動搜尋負載等。2 logstas...

elk入門概念詳解

開始第一步 我們現在開始進行乙個簡單教程,它涵蓋了一些基本的概念介紹,比如索引 indexing 搜尋 search 以及聚合 aggregations 通過這個教程,我們可以讓你對elasticsearch能做的事以及其易用程度有乙個大致的感覺。我們接下來將陸續介紹一些術語和基本的概念,但就算你沒...