海量視覺化日誌分析平台之ELK搭建

2021-09-02 12:43:23 字數 1971 閱讀 5502

elk是什麼? 

e=elasticsearch ,一款基於的lucene的分布式搜尋引擎,我們熟悉的github,就是由elastisearch提供的搜尋,據傳已經有10tb+的資料量。 

l=logstash , 一款分布式日誌收集系統,支援多輸入源,並內建一些過濾操作,支援多輸入元 

k=kibana , 一款配合elasticsearch的web視覺化介面,內建非常各種查詢,聚合操作,並擁有漂亮的圖形化展示功能 

為什麼要用elk? 

elk如何安裝搭建? 

環境要求: 

linux系統:centos7 

elk均為最新版本: 

(1)elasticsearch1.7.2 基於lucene4.10.4的版本 

集群拓撲: 

elasticsearch 3臺機器: 

集群名:search 

機器名+es節點名     =>         ip位址 

h1                 =>         192.168.1.120 

h2                 =>         192.168.1.121 

h3                 =>         192.168.1.122 

logstash    192.168.1.120 

kibana       192.168.1.120 

elasticsearch: wget   

logstash       : wget   

kibana          : wget   

一: 安裝elasticsearch集群: 

(1)解壓到指定目錄 

(2)配置elasticsearch.yml裡面,集群名字和節點名字,如果不配置預設集群名為elasticsearch,節點名隨機生成乙個 

直接在elasticsearch的根目錄下,分別輸入: 

bin/plugin --install mobz/elasticsearch-head  安裝head 

bin/plugin --install lukas-vlcek/bigdesk  安裝bigdesk 

(4)scp分發安裝完畢後的elasticsearch 

(5)依次啟動各個機器上的elasticsearch 

(6)head顯示如下: 

(1)解壓到指定目錄 

(2)在根木下新建乙個conf目錄,在裡面新建乙個配置檔案first.conf 

(3)啟動logstash 

執行命令: bin/logstash -f conf/first.conf 

(1)解壓到指定目錄 

(2)在根目錄執行bin/kibana直接啟動 

(3)訪問 配置乙個elasticsearch索引 

(4)在logstach裡面新增資料 

(5)檢視圖表:剛新加的資料 

本篇只是乙個簡單的入門例子,如需深入可以研究elastic的官網文件: 

用ELK打造視覺化集中式日誌

elk是elastic search,logstash和kibana三者的簡稱。elastic search顧名思義是致力於搜尋,它是乙個彈性搜尋的技術平台,與其相似的有solr,二者的對比可參考下面這篇文章 elastic search與solr選型 總結一下就是,如果你不喜歡夜店咖還是喜歡忠實可...

搭建ELK日誌分析平台

上 elk介紹及搭建 elasticsearch 分布式集群 下 搭建kibana和logstash伺服器 elk 日誌相關 logstash輸出到elasticsearch多索引 elasticsearch索引自動清理 logstash處理json格式日誌檔案的三種方法 logstash的filt...

mongo日誌視覺化

原始mongod.log格式 2020 11 26t21 33 45.896 0800 i network listener connection accepted from 10.10.6.192 52138 1663452 121 connections now open 2020 11 26t...