flume之集群監控 Ganglia 部署配置

2021-07-11 05:06:21 字數 1510 閱讀 3021

flume支援http,ganglia,custom監控模式

http很簡單,就是開放乙個埠可以通過http請求拿取當前agent的各項資料

ganglia是乙個開源的集群監控解決方案,自帶統計,web展現

custom就是自定義方案了。

當然為了圖省事,少弄些web畫圖之類用ganglia就可以了

這裡給下最後的效果圖:

效果就是這麼醜醜的

但是夠用了

廢話不多說,正式進入主題

ganglia分為三部分

服務端,客戶端,web端

gmetad,gmond,ganglia-web

gmond是乙個終端採集agent,負責收集機器資訊,及flume傳給他的資訊

gmetad就負責輪訓配置的各個gmond機器,獲取資料

ganglia-web是php實現的web站點

安裝上最簡單的就是yum install,apt-get了

自己公司用的阿里雲所以就一下ok了

伺服器安裝:

安裝apache php 

安裝gmetad

yum install -y rrdtool perl-rrdtool rrdtool-devel #rddtool安裝

yum -y install apr-devel

yum install ganglia-gmetad -y

yum install ganglia-web

客戶端安裝

yum install -y ganglia-gmond

客戶端安裝完,gmond的配置檔案在/etc/ganglia/gmond.conf

裡面要改的配置就是source名稱,要跟gmetad一致

然後用組網模式或者單點模式,組網模式沒有試過,

用的單點,配置本機的ip。

服務端安裝,gmetad在/etc/ganglia/gmetad.conf上

主要修改data_source把之前裝的gmond機器都寫上

name跟前面的對應,乙個gmond對應一條,名字不能

全部重複(ganglia顯示格式grid-》source-》node)

這裡還涉及到flume的配置:

-dflume.monitoring.type=ganglia -dflume.monitoring.hosts=127.0.0.1:8649

為了部署方便我使用了127.0.0.1的本機位址模式

這時候在ganglia上看就是localhost,如果使用具體的ip位址就會是你的網路名

都用localhost的話source就不能一樣了。不然衝突。

當然也可以把一些節點用乙個gmond來收集,這個自己理解是可以

但是沒有嘗試。

就這麼簡單,so easy,自己但是是摸索了快一天

直接的原始碼安裝遇到了一些問題,依賴的外掛程式太多

一定要制定對的路勁才行。

rrds路勁一定要對,

php伺服器對應的幾個目錄要有許可權讀寫。

在OpenStack集群中安裝Ganglia監控

1 ganglia簡介 ganglia由gmond gmetad和gweb三部分組成 gmond ganglia monitoring daemon 是一種輕量級服務,安裝在每台需要收集指標資料的節點主機上。gmond在每台主機上完成實際意義上的指標資料收集工作,並通過偵聽 通告協議和集群內其他節點...

集群監控之zabbix

zabbix是一種監控各種網路引數以及伺服器健康性和完整性的軟體 hadoop102 hadoop103 hadoop104 zabbix agent zabbix agent zabbix agent zabbix server zabbix web mysql 1 關閉防火牆 sudo serv...

Flume對接Kafka,Kafka監控

1 配置flume flume kafka.conf definea1.sources r1a1.sinks k1a1.channels c1 sourcea1.sources.r1.type execa1.sources.r1.command tail f c 0 opt module datas...