ELK環境搭建記錄

2021-08-02 21:47:49 字數 2906 閱讀 7649

日誌主要包括系統日誌、應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷,效能安全性,從而及時採取措施糾正錯誤。

通常,日誌被分散的儲存不同的裝置上。如果你管理數十上百臺伺服器,你還在使用依次登入每台機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日誌管理,例如:開源的syslog,將所有伺服器上的日誌收集彙總。

集中化管理日誌後,日誌的統計和檢索又成為一件比較麻煩的事情,一般我們使用grep、awk和wc等linux命令能實現檢索和統計,但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

開源實時日誌分析elk平台能夠完美的解決我們上述的問題,elk由elasticsearch、logstash和kiabana三個開源工具組成。

參考博文:

./plugin install mobz/elasticsearch-head
進行安裝,後面跟的引數是安裝head外掛程式,安裝好後bin目錄的同級目錄plugins中會有乙個head檔案。

2.修改配置檔案,不難理解的,自己看著修改吧,host那裡配置成ip位址的話區域網中都可以訪問,配置成127.0.0.1的話就只有本機可以訪問

3.執行

./bin/elasticsearch
報錯了

4.瀏覽器驗證一下是否啟動成功,我這個就是從區域網訪問的

剛剛安裝的head外掛程式,它是乙個用瀏覽器跟es集**互的外掛程式,可以檢視集群狀態、集群的doc內容、執行搜尋和普通的rest請求等。現在也可以使用它開啟***

:9200/_plugin/head

頁面來檢視es集群狀態:

切換回root使用者

安裝這個之前我們先安裝filebeat(後記:filebeat其實用不到,詳見第二彈)

rpm --import
在/etc/yum.repos.d目錄下建立elastic.repo檔案,內容:

[elastic-5.x]

name=elastic repository for 5.x packages

baseurl=

gpgcheck=1

gpgkey=

enabled=1

autorefresh=1

type=rpm-md

yum install filebeat 

中間會有一次詢問,按y,回車就行了

設定自啟動

chkconfig --add filebeat
生成filebeat的配置檔案

假如log4j這樣配的:

那麼filebeat的配置檔案長這樣,ip位址記得換一下,/usr.share/filebeat/bin/filebeat.yml

# filebeat.yml

filebeat:

prospectors:

-paths:

input_type: log

output:

logstash:

hosts: ["192.168.2.200:5000"]

安裝配置

# for detail structure of this file

input

}filter

output

}

啟動logstash: 

./bin/logstash agent -f config/log4j_to_es.conf
啟動filebeat:

./filebeat  -c ./filebeat.yml -e
現在到http://yourip:9200/_plugin/head/裡切換到browser標籤可以看到所有日誌了:

啟動kibana,齊活兒:

後面的就是一些網頁上的配置了,可以移步本文一開始的關聯文章檢視,不重複了

ELK環境搭建

安裝elasticsearch 1.拷貝elasticsearch 5.4.0.tar.gz到你需要安裝的目錄 2.執行 sudo tar zxvf elasticsearch 5.4.0.tar.gz 3.切換非root賬戶 su suername 4.cd到解壓後的目錄 執行 bin elast...

ELK 本地搭建kafka環境

tar zxvf kafka 2.11 2.0.1.tgz kafka需要安裝zookee使用,但kafka整合zookeeper,在單機搭建時可直接使用。使用需配置kafka 2.11 1.1.0 config 下的 zookeeper.properties 配置 zookeeper.proper...

ELK搭建記錄(第二彈)

今天又研究了一天又有一些新的收穫,趕緊記下來。只列出做了修改的部分。1.不再需要filebeat了,logstash直接就可以讀取日誌檔案 2.logstash配置檔案修改 這裡推薦乙個很棒的 學logstash一定要看 logstash最佳實踐 解釋一下吧 logstash配置檔案不可或缺的三個部...