使用flume實時收集日誌的過程中，儘管有事務機制保證資料不丟失，但仍然需要時刻關注source、channel、sink之間的訊息傳輸是否正常，比如，souceàchannel傳輸了多少訊息，channelàsink又傳輸了多少，兩處的訊息量是否偏差過大等等。
flume為我們提供了monitor的機制： 通過reporting的方式，把過程中的counter都列印出來。一共有4種reporting方式，jmx reporting、ganglia reporting、json reporting、custom reporting， 這裡以最簡單的json reporting為例。
在啟動flume agent時候，增加兩個引數：
flume.monitoring.type=http 指定了reporting的方式為http，flume.monitoring.port 指定了http服務的埠號。
"channel.file_channel_lxw1234":,
"source.source_lxw1234":
}我的例子中，source為taildir，channel為filechannel，sink為kafka sink。三個json物件分別列印出三個元件的counter資訊。
比如：source中」eventreceivedcount」:」244″ 表示source從檔案中讀取到244條訊息；
channel中」eventputsuccesscount」:」244″ 表示成功存放244條訊息；
sink中」eventdrainsuccesscount」:」244″ 表示成功向kafka傳送了244條訊息。
可以用乙個簡單的python指令碼，定時的去請求這個介面，把監控資料存入文字。
使用Python Diamond收集監控資料
diamond是使用python實現的用於收集監控資料的工具，主要收集metrics型別的資料，即資料格式一般是metric timestamp value 簡單來說,diamond就是python實現的守護程序，自動定時的從你的服務或是其它指定資料來源中提取數值，併發送到指定的後端 handler...
cacti最大監控數測試
cacti 有兩種輪詢方式，cmd和spine，官方介紹spine輪詢要比cmd快很多。主機配置，kvm虛擬機器4核2g記憶體 監控主機42臺 獲取資料2070 次，rrdsprocessed 1399 cmd調優日誌 很明顯32程序併發，效能最優秀，12s。平均約4臺主機需要1秒，監控負載不超過1...
zabbix監控tcp連線數和nginx狀態
一 前提條件 安裝好zabbix server和zabbix agent 二 在被監控linux主機的 etc zabbix zabbix agentd.d 目錄下建立配置檔案linux status.conf cd etc zabbix zabbix agentd.d vim linux stat...