使用ganglia監控hadoop

2022-08-28 13:00:15 字數 1254 閱讀 6148

使用ganglia監控hadoop

hadoop本身提供了很多監控工具的介面,如jmx、nagios、ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改$hadoop_home/conf/hadoop-metrics.properties檔案,把相關的配置段修改為下面的示例:

# configuration of the "dfs" context for ganglia

# pick one: ganglia 3.0 (former) or ganglia 3.1 (latter)

# dfs.class=org.apache.hadoop.metrics.ganglia.gangliacontext

dfs.class=org.apache.hadoop.metrics.ganglia.gangliacontext31

dfs.period=10

dfs.servers=239.2.11.71:8649 /*該位址為必須為廣播位址,否則採集不到資料!!

# configuration of the "mapred" context for ganglia

# pick one: ganglia 3.0 (former) or ganglia 3.1 (latter)

# mapred.class=org.apache.hadoop.metrics.ganglia.gangliacontext

mapred.class=org.apache.hadoop.metrics.ganglia.gangliacontext31

mapred.period=10

mapred.servers=239.2.11.71:8649

# configuration of the "jvm" context for ganglia

jvm.class=org.apache.hadoop.metrics.ganglia.gangliacontext

jvm.period=10

jvm.servers=239.2.11.71:8649

配置檔案的其它部分保持預設。

把配置檔案分發到各個datanode節點上,然後重啟hadoop集群,就可以在ganglia的監控頁面中看到hadoop各個節點的運**況。hbase的監控同樣照此處理。

注意:我的ganglia版本為3.17,hadoop版本為cloudera版,版本為hadoop-0.20.2-cdh3b4;不同的ganglia和hadoop版本,要修改的東西會有不同,請自行核對。

使用Ganglia監控Hadoop

hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...

使用Ganglia監控Hadoop

hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...

ganglia集群監控

安裝的方法網上一大堆,不同的系統有不同的方法,只有試過才知道那個最適用自己集群的。我的系統是rhel,就直接yum安裝 後來發現圖表的座標沒顯示出來,找了最新版的gweb放到apache的目錄下,還是不行,就猜想可能是rrdtool的版本過低導致,因此檢視了一下rrdtool的版本,發現是1.2的,...