ELK 日誌系統入門及通過 Docker 部署

2021-08-18 16:52:57 字數 1797 閱讀 8498

elk 是一套日誌中心解決方案,其三個字母分別表示:

elasticsearch 是自帶搜尋引擎的資料庫。

可以用來監控網路裝置。

分析使用者畫像。

除了應用映象外,elk 對應的映象分別是logstashelasticsearchkibana三個。

vi /etc/rsyslog.conf
開啟下面的三個引數,讓 rsyslog 載入 imtcp 模組並監聽 514 埠,然後將 rsyslog 收集到的資料**到 4560 埠:

$modload imtcp

$inputtcpserverrun

514*.* @@localhost

:4560

重啟 rsyslog 服務,並檢視 514 埠是否監聽成功:

systemctl restart rsyslog

netstat -ntpl

docker run -d -p 9200

:9200 -v \

~/elasticsearch/data

:/usr/share/elasticsearch/data \

--name elasticsearch elasticsearch

部署完成後可以訪問宿主機的 9200 埠驗證服務是否部署成功。成功時會輸出 json 格式的版本資訊。

~/logstash/目錄下建立logstash.conf配置檔案,將 logstash 服務配置為從本地的 rsyslog 服務獲取應用日誌資料,然後**到 elasticsearch 資料庫。配置檔案內容如下:

input 

}output

}

啟動 logstash 容器:

--name kibana kibana注意,啟動應用程式的容器時,需要設定將日誌**到 syslog 服務中。

docker run -d

-p80:80\--

log-driver syslog \

--log

-opt syslog-address

=tcp://localhost:514 \

--log

-opt

tag=

"nginx"

\--name nginx

nginx

開啟瀏覽器,並多次訪問 localhost:80 來讓應用程式生產日誌。

在 localhost:5601 頁面中,檢視日誌資訊。可以在查詢框中輸入program=nginx查詢特定日誌。

ELK 日誌系統

elk 日誌系統 elasticsearch,logstash,kibana 實時日誌分析平台 logstash是乙個etl工具,負責從每台機器抓取日誌資料,對資料進行格式轉換和處理後,輸出到elasticsearch中儲存。elasticsearch是乙個分布式搜尋引擎和分析引擎,用於資料儲存,可...

ELK 日誌分析系統

elk就是一套完整的日誌分析系統 elk logstash elasticsearch kibana 統一官網 elk模組說明 logstash 作用 用於處理傳入的日誌,負責收集 過濾和寫出日誌 logstash分為三個元件input,filter,output 輸入input 常用file,re...

ELK日誌分析系統通過shield實現許可權管理

把使用者切換到elasticsearch的使用者,並將目錄切換到elasticsearch安裝目錄下 執行下面操作 安裝elasticsearch許可外掛程式 bin plugin install elasticsearch license latest 安裝shield外掛程式 bin plugi...