使用Ganglia監控Hadoop

2021-09-21 23:53:45 字數 1138 閱讀 2919

hadoop本身提供了很多監控工具的介面,如jmx、nagios、ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改$hadoop_home/conf/hadoop-metrics.properties檔案,把相關的配置段修改為下面的示例:

# configuration of the "dfs" context for ganglia 

# pick one: ganglia 3.0 (former) or ganglia 3.1 (latter) 

# dfs.class=org

.apache.hadoop.metrics.ganglia.gangliacontext 

dfs.class=org.apache.hadoop.metrics.ganglia.gangliacontext31 

dfs.period=10

dfs.servers=239.2.11.71:8649   /*該位址為必須為廣播位址,否則採集不到資料!!

# configuration of the "mapred" context for ganglia 

# pick one: ganglia 3.0 (former) or ganglia 3.1 (latter) 

# mapred.class=org.apache.hadoop.metrics.ganglia.gangliacontext 

mapred.class=org.apache.hadoop.metrics.ganglia.gangliacontext31 

mapred.period=10

mapred.servers=239.2.11.71:8649 

# configuration of the "jvm" context for ganglia 

jvm.class=org.apache.hadoop.metrics.ganglia.gangliacontext 

jvm.period=10

jvm.servers=239.2.11.71:8649 

配置檔案的其它部分保持預設。

把配置檔案分發到各個datanode節點上,然後重啟hadoop集群,就可以在ganglia的監控頁面中看到hadoop各個節點的運**況。hbase的監控同樣照此處理。

使用Ganglia監控Hadoop

hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...

使用ganglia監控hadoop

使用ganglia監控hadoop hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面...

ganglia集群監控

安裝的方法網上一大堆,不同的系統有不同的方法,只有試過才知道那個最適用自己集群的。我的系統是rhel,就直接yum安裝 後來發現圖表的座標沒顯示出來,找了最新版的gweb放到apache的目錄下,還是不行,就猜想可能是rrdtool的版本過低導致,因此檢視了一下rrdtool的版本,發現是1.2的,...