flume支援http,ganglia,custom監控模式
http很簡單,就是開放乙個埠可以通過http請求拿取當前agent的各項資料
ganglia是乙個開源的集群監控解決方案,自帶統計,web展現
custom就是自定義方案了。
當然為了圖省事,少弄些web畫圖之類用ganglia就可以了
這裡給下最後的效果圖:
效果就是這麼醜醜的
但是夠用了
廢話不多說,正式進入主題
ganglia分為三部分
服務端,客戶端,web端
gmetad,gmond,ganglia-web
gmond是乙個終端採集agent,負責收集機器資訊,及flume傳給他的資訊
gmetad就負責輪訓配置的各個gmond機器,獲取資料
ganglia-web是php實現的web站點
安裝上最簡單的就是yum install,apt-get了
自己公司用的阿里雲所以就一下ok了
伺服器安裝:
安裝apache php
安裝gmetad
yum install -y rrdtool perl-rrdtool rrdtool-devel #rddtool安裝
yum -y install apr-devel
yum install ganglia-gmetad -y
yum install ganglia-web
客戶端安裝
yum install -y ganglia-gmond
客戶端安裝完,gmond的配置檔案在/etc/ganglia/gmond.conf
裡面要改的配置就是source名稱,要跟gmetad一致
然後用組網模式或者單點模式,組網模式沒有試過,
用的單點,配置本機的ip。
服務端安裝,gmetad在/etc/ganglia/gmetad.conf上
主要修改data_source把之前裝的gmond機器都寫上
name跟前面的對應,乙個gmond對應一條,名字不能
全部重複(ganglia顯示格式grid-》source-》node)
這裡還涉及到flume的配置:
-dflume.monitoring.type=ganglia -dflume.monitoring.hosts=127.0.0.1:8649
為了部署方便我使用了127.0.0.1的本機位址模式
這時候在ganglia上看就是localhost,如果使用具體的ip位址就會是你的網路名
都用localhost的話source就不能一樣了。不然衝突。
當然也可以把一些節點用乙個gmond來收集,這個自己理解是可以
但是沒有嘗試。
就這麼簡單,so easy,自己但是是摸索了快一天
直接的原始碼安裝遇到了一些問題,依賴的外掛程式太多
一定要制定對的路勁才行。
rrds路勁一定要對,
php伺服器對應的幾個目錄要有許可權讀寫。
在OpenStack集群中安裝Ganglia監控
1 ganglia簡介 ganglia由gmond gmetad和gweb三部分組成 gmond ganglia monitoring daemon 是一種輕量級服務,安裝在每台需要收集指標資料的節點主機上。gmond在每台主機上完成實際意義上的指標資料收集工作,並通過偵聽 通告協議和集群內其他節點...
集群監控之zabbix
zabbix是一種監控各種網路引數以及伺服器健康性和完整性的軟體 hadoop102 hadoop103 hadoop104 zabbix agent zabbix agent zabbix agent zabbix server zabbix web mysql 1 關閉防火牆 sudo serv...
Flume對接Kafka,Kafka監控
1 配置flume flume kafka.conf definea1.sources r1a1.sinks k1a1.channels c1 sourcea1.sources.r1.type execa1.sources.r1.command tail f c 0 opt module datas...