elk系統主要由三部分組成,分別是elasticsearch、logstash、kibana。
elk系統收到推送過來的日誌後,首先由logstash解析日誌中的字段,分解成乙個乙個的關鍵字。elasticsearch將關鍵字與日誌資訊關聯起來,以一種特定的格式化方式儲存資料到硬碟。kibana提供與使用者的互動介面,根據使用者需求,從elasticsearch中讀取資訊並在網頁上顯示。
一、安裝工具
1.安裝elasticsearch
wget
.co/elasticsearch/elasticsearch/elasticsearch-1.7
.1.tar
.gztar -xvzf elasticsearch-1.7
.1.tar
.gzcp -a elasticsearch-1.7
.1 /usr/local
cd /usr/local
ln –s elasticsearch-1.7
.1 elasticsearch
2.安裝logstashwget
.co/logstash/logstash/logstash-1.5
.4.tar
.gztar –xvzf logstash-1.5
.4.tar
.gzcp –a logstash-1.5
.4 /usr/local
cd /usr/local
ln –s logstash-1.5
.4 logstash
3.安裝kibanawget .co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
tar –xvzf kibana-
4.1.2
-linux
-x64
.tar.gz
cp –a kibana-
4.1.2
-linux
-x64 /usr/local
cd /usr/local
ln –s kibana-
4.1.2
-linux
-x64 kibana
二、配置logstashcd /usr/local/logstash
mkdir etc
touch central.conf
central.conf是logstash的配置檔案,檔名隨意配置件,檔案內容如下:
input
}output
elasticsearch
}
啟動logstash程式:
/usr/local/logstash/bin/logstash
agent--
verbose--
config
/usr/local/logstash/etc/central
.conf
配置檔案將從/tmp/*.log中讀到的日誌,同時傳給elasticsearch和標準輸出。我現在現在還沒有配置elasticsearch,可以從標準輸出視窗中觀察。如果有將日誌內容輸出,可知logstash搭建成功察。
三、配置elasticsearch
由於elasticsearch和logstash是安裝在一台機器上,elasticsearch預設配置即可。
/usr/local/elasticsearch/bin/elasticsearch -d
#以deamon方式啟動elasticsearch
開啟127.0.01:9200看到這樣的內容可知elasticsearch搭建成功
,
"tagline" : "you know, for search"
}
四、配置kibana
kibana也不需要配置,直接啟動
/usr/local/kibana/bin/kibana
開啟127.0.01:5601即可看到kibana的頁面,選擇預設配置,進入,/tmp/*.log中的資訊在kibana中顯示,可知kibana搭建成功。
五、遇到的問題
1.開啟127.0.0.1:9200或127.0.0.1:5601時,提示網頁無法開啟,但kibana與elasticsearch伺服器確實已經啟動。
解決方法:**關掉
2./tmp/*.log是存在的,但是kibana上提示沒有資料,logstash的stdout也看不到資料
解決方法:logstash只讀取最近一段時間的日誌,把日誌檔案時間更新一下就可以解決
六、參考文章
ELK 本地搭建kafka環境
tar zxvf kafka 2.11 2.0.1.tgz kafka需要安裝zookee使用,但kafka整合zookeeper,在單機搭建時可直接使用。使用需配置kafka 2.11 1.1.0 config 下的 zookeeper.properties 配置 zookeeper.proper...
搭建ELK日誌系統(三)
安裝kibana 1 確保jdk已經安裝,這裡省略 2 由於我的es是7.5.0版本的,所以這裡的kibana也安裝相同版本,否則會有問題。然後啟動 這裡我說一下,由於我的是學生伺服器,1核2g的,啟動了es,再啟動kibana的時候,cpu 99 記憶體 99 結果就自動killed了。所以我就一...
日誌收集系統ELK搭建
在傳統專案中,如果在生產環境中,有多台不同的伺服器集群,如果生產環境需要通過日誌定位專案的bug的話,需要在每台節點上使用傳統的命令方式查詢,這樣效率非常低下。因此我們需要集中化的管理日誌,elk則應運而生。elk elasticseach logstash kibana,日誌收集原理如下所示。1 ...