ganglia是乙個跨平台可擴充套件的,高效能計算系統下的分布式監控系統,如集群和網格。它是基於分層設計,它使用廣泛的技術,如xml資料代表,便攜資料傳輸,rrdtool用於資料儲存和可 視化。
配置資訊:
ubuntu 12.04 x64
hadoop版本1.0.4
首先需要安裝ganglia,ubuntu下通過apt-get安裝即可:
sudo apt-get install ganglia-monitor ganglia-webfront gmetad
安裝完成後修改/etc/ganglia/gmond.conf檔案
將globals模組下的setuid=yes修改為setuid=no,cluster模組下的name修改為hadoop
然後修改/etc/ganglia/gmetad.conf檔案
找到data_source, 將其修改為 data_source "hadoop" 127.0.0.1 如果是集群直接在多個ip用空格隔開,可以自行定義監聽埠號,如果不自定義使用預設埠8649,如果有防火牆,記得開放埠號。
修改完成後重啟ganglia
sudo /etc/init.d/ganglia-monitor restart
sudo /etc/init.d/gmetad restart
重啟完之後就可以把ganglia-webfront 複製到apache的www目錄下
sudo cp -r /usr/share/ganglia-webfront /var/www/ganglia
再重啟apache 服務
sudo /etc/init.d/apache2 restart
這樣就可以通過訪問http://localhost/ganglia 檢視介面。
配置hadoop:
找到hadoop目錄下conf下的hadoop-metrics2.properties檔案
#只需要將注釋修改,然後將ganglia的server位址修改為239.2.11.71即可,重啟hadoop,即可看到如下檢視,表示ganglia搭建成功# below are for sending metrics to ganglia
## for ganglia 3.0 support
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.gangliasink30
## for ganglia 3.1 support
# *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.gangliasink31
*.sink.ganglia.period=10
# default for supportsparse is false
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gccount=zero,jvm.metrics.memheapusedm=both
*.sink.ganglia.dmax=jvm.metrics.threadsblocked=70,jvm.metrics.memheapusedm=40
namenode.sink.ganglia.servers=239.2.11.71:8649
datanode.sink.ganglia.servers=239.2.11.71:8649
jobtracker.sink.ganglia.servers=239.2.11.71:8649
tasktracker.sink.ganglia.servers=239.2.11.71:8649
maptask.sink.ganglia.servers=239.2.11.71:8649
reducetask.sink.ganglia.servers=239.2.11.71:8649
ganglia集群監控
安裝的方法網上一大堆,不同的系統有不同的方法,只有試過才知道那個最適用自己集群的。我的系統是rhel,就直接yum安裝 後來發現圖表的座標沒顯示出來,找了最新版的gweb放到apache的目錄下,還是不行,就猜想可能是rrdtool的版本過低導致,因此檢視了一下rrdtool的版本,發現是1.2的,...
Ganglia分組監控
行文之前,表達一下小鬱悶。ganglia官方把分組監控的幫助文件放到了quick start guide,而不是configuration,讓我一番好找。ganglia的分組監控,實施起來其實很簡單,官方文件已經給出了示例。總結起來,實施分組監控,有下面幾個關鍵點 一是多播和單播。分組監控最好用單播...
ganglia 監控mysql Ganglia監控
一 ganglia是什麼?ganglia是由uc berkeley發起的乙個開源專案,主要通過收集各節點上的度量資料 如處理器速度 記憶體使用量等 實現系統效能的監控。ganglia的核心包含gmetad gmond以及web前端三部分,這三部分之間通過xdl xml的壓縮格式 或者xml格式傳遞監...