192.168.1.105 es-2 /elk(目錄)
192.168.1.108 es-1 logstash kibana /mydata/elk
192.168.1.106 es-3 /elk
一般我們需要進行日誌分析場景:直接在日誌檔案中 grep、awk 就可以獲得自己想要的資訊。但在規模較大的場景中,此方法效率低下,面臨問題包括日誌量太大如何歸檔、文字搜尋太慢怎麼辦、如何多維度查詢。需要集中化的日誌管理,所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統,將所有節點上的日誌統一收集,管理,訪問。
一般大型系統是乙個分布式部署的架構,不同的服務模組部署在不同的伺服器上,問題出現時,大部分情況需要根據問題暴露的關鍵資訊,定位到具體的伺服器和服務模組,構建一套集中式日誌系統,可以提高定位問題的效率。
5.4.0
解壓
tar -zxvf 包名
編輯配置檔案
vi /xx/
config
/elasticsearch.yml
改變幾個地方
儲存,退出;
啟動服務
建立es使用者,把es資料夾許可權分配過去
useradd elk
passwd elk
chown -r
elk:
elk/
elk/elasticsearch
使用者必須用elk使用者開啟es,不然會出現root不能進行啟動es的錯誤
為了方面啟動我們在/etc/profile裡面加上export es
檢視埠狀態
ss -tnl
有無ip+埠(9200,9300)
至此,節點es-1配置完成。
之後幾台,同樣方式新增
查詢版本
elasticsearch -v
啟動 sh elasticsearch -d 停止
直接kill掉 重啟
kill 殺掉 再
sh elasticsearch -d
查詢集群狀態
方法①
curl -xget
'106:9200/_cat/nodes'
查詢集群健康狀況
//同上在後面新增 ?v ,表示詳細顯示
查詢集群狀態
方法②
curl -xget
'106:9200/_cluster/state/nodes?pretty'
查詢集群中的
master
curl -xget
'106:9200/_cluster/state/master_node?pretty' 或
curl -xget
'106:9200/_cat/master?v'
查詢集群的健康狀態
curl -xget
'106:9200/_cat/health?v' 或
curl -xget
'106:9200/_cluster/health?pretty'
elasticsearch rest api遵循的格式為:
curl -x:///
logstash 5.4.0
並解壓
tar -zxvf
logstash 5.4.0
構建離線外掛程式包:bin/logstash-plugin prepare-offline-pack logstash-input-beats
安裝離線外掛程式包: bin/logstash-plugin install
file:///elk/logstash/l
ogstash 5.4.0
配置 5044 埠作為 filebeat 的連線和建立 es 索引。新建 logstash.conf
配置檔案,
input }
output -%"
document_type => "%" }
}logstash 使用該配置使用 es 的索引,和 filebeat 做的事情是一樣的,不過擁有了額外的快取以及強大豐富的外掛程式庫。
啟動 logstash :
./bin/logstash -f config/logstash.conf &
vi /kibana/
config
/kibana.yml
改變幾個地方
server.port:5601
server.host:"ip"
elasticsearch.url:"105:9200"
儲存後,退出;
./bin/kibana &
ss -tnl
檢視有無埠5601,或者看日誌
如果此法出現外掛程式錯誤,把程序kill掉,重啟動kibana
kibana是乙個為 elasticsearch 提供的資料分析的 web 介面(5601)。可使用它對日誌進行高效的搜尋、視覺化、分析等各種操作。kibana目前最新的版本5.3.
x-pack是kibana中單獨的乙個元件,在5.x之前各種單獨的元件(shield, watcher, marvel, graph, reporting),現在都整合到x-pack中.
kibana+x-pack實現集群的監控
在es 安裝x-pack,es停用狀態下執行
在es目錄下
elasticsearch-plugin install x-pack
在kibana中安裝 x-pack ,kibana停用狀態下執行
zip包大小約120mb,注意您的網路。。。耐心等待!
在 kibana目錄下
kibana-plugin install x-pack
啟動es,啟動kibana
驗證x-pack
在瀏覽器上輸入:
,可以開啟kibana,此時需要輸入使用者名稱和密碼登入,預設分別是 elastic 和 changeme。
登入到kibana會發現 elastic是乙個最高端別的user,擁有所有許可權,其角色是superuser。當然在這裡我們也可以新增自定義的使用者,並為其分配角色,不同的角色對應不同的功能。
我們不僅可以通過kibana視覺化的介面來管理使用者
另外我們也可以通過es的reset password api來管理使用者。
put _xpack/security/user/elastic/_password
put _xpack/security/user/kibana/_password
修改了kibana的密碼之後,還需要修改kibana.yml的配置檔案中
elasticsearch.password:kibanapw 因為
x-pack
外掛程式其實是收費的,所以我們要把他破解掉,也可以直接交錢
說明:其實我們一般不會用logstash去採集資料,一般採集資料是用filebeat去採集,
輕量級,資源佔比很少,很好用,當然beat分幾種下回詳說
ELK安裝使用
6.42版本為例 一 安裝elasticsearch 2 修改配置檔案,結尾新增兩個配置 http.cors.allow origin 3 啟動 不能用root使用者,必須新建立乙個使用者並授權 nohup bin elasticsearch 4 安裝ik 非必須 1 安裝 bin elastics...
ELK安裝使用
安裝版本 elasticsearch 2.4.6 logstash2.4.0 kibana4.6.1 啟動前先關閉防火牆 systemctl stop firewalld tar xvf elasticsearch 2.4.6.tar.gz 由於安全原因,es不能用root使用者安裝,所以建立乙個使...
ELK之Logstash單節點安裝及簡單使用
logstash單節點安裝及簡單使用 前期準備 1 安裝jdk 2 關閉防火牆 1.建立logstas 件夾,上傳並解壓安裝包 cd usr mkdir logstash cd logstash rz 選中上傳準備好的 logstash安裝包 tar zxvf xx 2.啟動 2.1.bin log...