rsyslog與Kafka結合使用

最近在折騰 rsyslog ,傳輸日誌,對他怎麼說呢,誰用誰知道,我僅僅是了解使用的程度,對於裡面的坑以及使用策略還沒有那麼深入,不過日後會逐步的細化了解,其實現在對於日誌傳輸來過網上一大堆技術方案任你選.但是感覺用rsyslog傳輸還是最方便,最快捷的.他以不變應萬變,看圖說話:

可見rsyslog的覆蓋面是相當的廣泛.奈何近幾日,打算把redis替換為 kafka ,本篇主要記錄rsyslog與kafka的對接使用. 上了.

通過對 rsyslog官方文件檢視,得知rsyslog對kafka的支援是v8.7.0版本後才提供的支援.通過 changelog 也可以看出v8.x的版本變化.

檢視本機的rsyslog版本:

rsyslog.x86_64                                      7.6.3-1.el6

先是公升級.公升級方式有多種,推薦使用官方源用yum方式公升級.使用源公升級後的穩定版目前最新的是8.7.0-1.el6,來檢視下rpm包中是否包含omkafka這個外掛程式.

# rpm -ql rsyslog

.......

/lib64/rsyslog/lmzlibw.so

/lib64/rsyslog/mmpstrucdata.so

.......

#主要看/lib64/rsyslog/目錄下的.so檔案

--enable-omkafka        compiles omkafka module [default=no]

可以清楚的檢視到其實這個模組預設是不開啟的.所以自己編譯加入這個模組,編譯好會在相應目錄產生omkafka.so這個檔案,然後拷貝到/lib64/rsyslog/目錄下即可.

使用需要在rsyslog.conf配置檔案下或是相應的配置檔案中加入module(load="omkafka")表示引入該模組.測試使用可以參照文件中的示例 .

其實文件是相當的簡陋,使用示例感覺就是配置上僅僅能使用,更多更詳細的根本沒有介紹,索性 kafka官方的文件是相當的詳細.在使用的角度看,rsyslog目前是作為乙個producer的角色,所以可以依照kafka的文件的3.3producer configs章節設定,設定相應的引數可以放到confparam或是topicconfparam中就可以了.當然這個引數列表不是無限任何引數都可以往裡面仍,根據rsyslog官方文件對這個引數的表述是:其實omkafka是使用librdkafka連線卡夫卡的,所以引數實際上那些librdkafka支援的引數.

僅僅測試的話,根據rsyslog官方文件中配置即可生效.更多的設定和方法還是參照kafka相關設定,以及經過自己充分測試再另行體驗,由於我也是才接觸配置,更多的使用也不太了解.沒有文件真的很瞎啊,但是至少知道了大致怎麼使用了.目前的體驗來看partitions.number等引數是很好用的.

rsyslog的kafka模組使用問答列表

- see more at: #sthash.u9amx8ll.dpuf

rsyslog與Kafka結合使用

將Rsyslog的日誌輸出到Kafka訊息佇列

filebeat與rsyslog日誌獲取簡單對比

Flume原理並與Kafka結合原因

rsyslog與Kafka結合使用

將Rsyslog的日誌輸出到Kafka訊息佇列

filebeat與rsyslog日誌獲取簡單對比

Flume原理並與Kafka結合原因

相關推薦