6 EFK 免費的日誌採集與視覺化搜尋套件

2022-06-11 04:03:09 字數 1444 閱讀 3935

收集日誌是為了做進一步的分析。收集是第一步,收集到日誌後還需要進行儲存、索引,以便進行快速查詢分析。我們還需要乙個友好的查詢介面,來方便使用者使用日誌。

本文介紹乙個免費的開源軟體組合,正好可以實現上述目的。它們就是fluentd + elasticsearch + kibana,簡稱efk。

fluentd用於採集日誌。elasticsearch是乙個開源的搜尋引擎,以使用方便而著稱。kibana是乙個開源的web ui,為elasticsearch提供了乙個友好的使用介面。

使用efk的日誌系統,一般採用如下架構:

elasticsearch和kibana安裝過程不說

安裝td-agent

為fluentd安裝elasticsearch外掛程式

$ sudo /usr/sbin/td-agent-gem install fluent-plugin-elasticsearch --no-document
在td-agent.conf中使用elasticsearch

# get logs from syslog

@type syslog

port 42185

tag syslog

# get logs from fluent-logger, fluent-cat or other fluentd instances

@type forward

@type elasticsearch

logstash_format true

flush_interval 10s # for testing

這裡syslog會經由fluentd寫入elasticsearch,並在elasticsearch中以logstash-%y.%m.%d的命名方式建立索引。

4. 配置rsyslogd

需要在/etc/rsyslog.conf中新增如下配置,這樣系統日誌就可以從rsyslogd**到fluentd(埠為42185),並由fluentd**到elasticsearch中。

*.* @127.0.0.1:42185
重啟rsyslogd:

sudo /etc/init.d/rsyslog restart
儲存並搜尋日誌

一旦fluentd接收到了rsyslogd傳送來的日誌,並將這些日誌寫入到elasticsearch,就可以通過kibana進行視覺化的資料查詢了。

開啟kibana(http://localhost:5601),建立索引,設定索引模式為logstash-*,選擇@timestamp作為time filter欄位名稱。然後就可以在「discover」面板看到rsyslogd傳送過來的日誌了。

視覺化日誌分析工具Gltail的安裝與使用

視覺化日誌分析工具gltail的安裝與使用 gltail.rb 是一款帶有濃郁的 geek 風格的視覺化日誌分析工具,它採用 ruby 技術構建,並利用 opengl 圖形技術進行渲染,呈現視覺化的日誌分析資料,以氣泡數量來反映 的訪問情況。本文講述它的安裝與基本使用方法。1.功能 1 實時顯示日誌...

NS的安裝與視覺化

ns3安裝教程 更新源的簡單方法 使用以下命令 sudo apt get update通過安裝教程中的編譯,結果中的visualizer出現在了modules not built中,即視覺化模組並沒有安裝成功 解決 pip install pybindgen如果找不到pip,則通過命令進行pip的安...

10個免費的jquery視覺化編輯器

jquery 文字編輯器,也就是所見即所得的html編輯器,是 乙個非常重要的元件,特別是對於一些內容發布 來說。本文介紹10個基於jquery的視覺化文字編輯器。1.markitup demo source 2.jwysiwyg 這是乙個內嵌的內容編輯器,可直接編輯html內容,並具備所見即所得的...