elk是什麼?
e=elasticsearch ,一款基於的lucene的分布式搜尋引擎,我們熟悉的github,就是由elastisearch提供的搜尋,據傳已經有10tb+的資料量。
l=logstash , 一款分布式日誌收集系統,支援多輸入源,並內建一些過濾操作,支援多輸入元
k=kibana , 一款配合elasticsearch的web視覺化介面,內建非常各種查詢,聚合操作,並擁有漂亮的圖形化展示功能
為什麼要用elk?
elk如何安裝搭建?
環境要求:
linux系統:centos7
elk均為最新版本:
(1)elasticsearch1.7.2 基於lucene4.10.4的版本
集群拓撲:
elasticsearch 3臺機器:
集群名:search
機器名+es節點名 => ip位址
h1 => 192.168.1.120
h2 => 192.168.1.121
h3 => 192.168.1.122
logstash 192.168.1.120
kibana 192.168.1.120
elasticsearch: wget
logstash : wget
kibana : wget
一: 安裝elasticsearch集群:
(1)解壓到指定目錄
(2)配置elasticsearch.yml裡面,集群名字和節點名字,如果不配置預設集群名為elasticsearch,節點名隨機生成乙個
直接在elasticsearch的根目錄下,分別輸入:
bin/plugin --install mobz/elasticsearch-head 安裝head
bin/plugin --install lukas-vlcek/bigdesk 安裝bigdesk
(4)scp分發安裝完畢後的elasticsearch
(5)依次啟動各個機器上的elasticsearch
(6)head顯示如下:
(1)解壓到指定目錄
(2)在根木下新建乙個conf目錄,在裡面新建乙個配置檔案first.conf
(3)啟動logstash
執行命令: bin/logstash -f conf/first.conf
(1)解壓到指定目錄
(2)在根目錄執行bin/kibana直接啟動
(3)訪問 配置乙個elasticsearch索引
(4)在logstach裡面新增資料
(5)檢視圖表:剛新加的資料
本篇只是乙個簡單的入門例子,如需深入可以研究elastic的官網文件:
用ELK打造視覺化集中式日誌
elk是elastic search,logstash和kibana三者的簡稱。elastic search顧名思義是致力於搜尋,它是乙個彈性搜尋的技術平台,與其相似的有solr,二者的對比可參考下面這篇文章 elastic search與solr選型 總結一下就是,如果你不喜歡夜店咖還是喜歡忠實可...
搭建ELK日誌分析平台
上 elk介紹及搭建 elasticsearch 分布式集群 下 搭建kibana和logstash伺服器 elk 日誌相關 logstash輸出到elasticsearch多索引 elasticsearch索引自動清理 logstash處理json格式日誌檔案的三種方法 logstash的filt...
mongo日誌視覺化
原始mongod.log格式 2020 11 26t21 33 45.896 0800 i network listener connection accepted from 10.10.6.192 52138 1663452 121 connections now open 2020 11 26t...