使用ganglia監控hadoop
hadoop本身提供了很多監控工具的介面,如jmx、nagios、ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改$hadoop_home/conf/hadoop-metrics.properties檔案,把相關的配置段修改為下面的示例:
# configuration of the "dfs" context for ganglia
# pick one: ganglia 3.0 (former) or ganglia 3.1 (latter)
# dfs.class=org.apache.hadoop.metrics.ganglia.gangliacontext
dfs.class=org.apache.hadoop.metrics.ganglia.gangliacontext31
dfs.period=10
dfs.servers=239.2.11.71:8649 /*該位址為必須為廣播位址,否則採集不到資料!!
# configuration of the "mapred" context for ganglia
# pick one: ganglia 3.0 (former) or ganglia 3.1 (latter)
# mapred.class=org.apache.hadoop.metrics.ganglia.gangliacontext
mapred.class=org.apache.hadoop.metrics.ganglia.gangliacontext31
mapred.period=10
mapred.servers=239.2.11.71:8649
# configuration of the "jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.gangliacontext
jvm.period=10
jvm.servers=239.2.11.71:8649
配置檔案的其它部分保持預設。
把配置檔案分發到各個datanode節點上,然後重啟hadoop集群,就可以在ganglia的監控頁面中看到hadoop各個節點的運**況。hbase的監控同樣照此處理。
注意:我的ganglia版本為3.17,hadoop版本為cloudera版,版本為hadoop-0.20.2-cdh3b4;不同的ganglia和hadoop版本,要修改的東西會有不同,請自行核對。
使用Ganglia監控Hadoop
hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...
使用Ganglia監控Hadoop
hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...
ganglia集群監控
安裝的方法網上一大堆,不同的系統有不同的方法,只有試過才知道那個最適用自己集群的。我的系統是rhel,就直接yum安裝 後來發現圖表的座標沒顯示出來,找了最新版的gweb放到apache的目錄下,還是不行,就猜想可能是rrdtool的版本過低導致,因此檢視了一下rrdtool的版本,發現是1.2的,...