因為自己最近在用這個軟體,所以就記錄一下,供今後參考。
一共有兩個主要的deamon,
gmond: 要安裝到所有的節點上面(一般來說都是各計算節點)。它可以在本地定時的收集系統的資訊,比如cpu使用率,內在使用率等等。同時還會監聽乙個埠,通過這個埠可以共享自己的狀態資訊,並獲取其它節點的狀態資訊(使用xdr協議,xml的形式來傳送資訊)。
gmetad:它可以從其它的gmetad或者gmond處獲取資訊。並使用rrd tool把這些資訊儲存在本地的硬碟中。就可以通過命令列或者網頁的方式來檢視集群的整體狀態了。
gmond可以主動的傳送和收集狀態資訊,gmetad也可以被動的接收資訊,也可以主動的去獲取資訊。所以ganglia的使用方法就比較靈活了,可以根據自己的情況來確定使用哪種方式。
在這裡就使用兩個例子來說明一下吧:
有乙個管理節點和10個計算節點。
方案一、那麼一種比較簡單的方法就是在管理節點上啟動gmetad(定時到所有的計算節點上去獲取它們的狀態資訊),在所有的計算節點上啟動gmond(只收集本地的狀態資訊,不共享給其它節點,等待管理節點的gmetad來獲取)。
方案二:在所有的節點上都啟動gmond,所有的gmond收集到的資訊都傳送到管理節點的gmond。在管理節點上啟動gmetad,gmetad只需要到管理節點上的gmond獲取所有節點的資訊就可以了。
可以看出ganglia的靈活性是非常大的,大家可以按照自己的需要來制定具體的收集方式就可以了。一定要注意,gmetad只能主動的去獲取資訊,要想檢視監控資訊必需要啟動gmetad。
當然它也可以支援層級結構(hierarchic)的集群,層與層之間的通訊最好是使用gmetad來完成,管理配置起來也就非常的簡單了。
這裡著重說一下配置的問題吧,
ganglia的版本有改變,所以配置檔案的位置也有所改變:
3.0.7版本的配置檔案在/etc目錄下,分別是gmond.conf和gmetad.conf
3.1.7版本的配置檔案在/etc/ganglia目錄下。
gmetad的責任是收集狀態資料,並把資料儲存到硬碟,供ui和使用者使用。配置沒有什麼特別的,主要就是data_source,cluster name就是在gmond中定義的那個cluster名字,後面就是從哪台機器的哪乙個埠收集資訊,所有的狀態資料在收集完了以後使用rrdtool儲存在硬碟中,儲存的目錄是/var/rrd/或者/var/lib/ganglia/rrds(主要還是版本所決定的),因為使用了rrdtool,所以狀態所占用的空間是固定的,不會隨使用的時間而增長,可以去rrdtool的**了解一下。
gmond的責任是獲取當前系統的狀態資訊,也可以是同乙個廣播域中所有機器的狀態資訊,但是並不儲存。配置才是關鍵的, 大多數的配置方法都可以在ganglia的wiki上找到,主要是有乙個引數的udp_send_channel,這個引數的含義就是,gmond在獲取了本地的狀態資訊,要通過使用方式傳送出去(可以使用單播和多播兩種方式)。當使用host和port這兩個引數時,就是使用單播的方式,也就是說只傳送給host那台機器。這種方式,在乙個機群中只有一台機器(可以稱為頭節點)可以掌握所有機器的狀態資訊,其它的機器只有自己的資料,優點就是占用的網路頻寬非常小,只把資料傳送給了有用的頭節點。還有一種配置方式就是使用mcast_join和port,就是說把獲取的狀態資訊使用廣播的方法傳送出去,從而在同乙個廣播域中的所有機器上的gmond都會收到,這種配置方式的優點是沒有頭節點的概念,所有的機器在機群中都是平等的,如果一台機器down掉的話,gmetad還可以從其它的機器上獲取機群的狀態資訊(需要在gmetad.conf的配置檔案中對乙個data_source使用兩個或者多個資料來源),增加的ganglia的健壯性。
pythonpip使用方法 pip使用方法整理
匯出專案已安裝的pip包 pip list 檢視專案中安裝的包 pip freeze requirements.txt 將專案中所用到的第三方庫輸出到requirements.txt中 pip install 版本號 pip install i 本次使用清華源進行安裝 離線安裝第三方庫 一鍵安裝整個...
使用Ganglia監控Hadoop
hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...
使用Ganglia監控Hadoop
hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...