使用Apache Ambari管理Hadoop

2022-03-14 12:18:12 字數 977 閱讀 4719

隨著hadoop越來越普及,對合適的管理平台的需求成為當前亟待解決的問題。已經有幾個商業性的hadoop管理平台,如cloudera enterprise manager,但apache ambari是第乙個開源實現。apache ambari是一種基於web的工具,支援apache hadoop集群的**、管理和監控。ambari目前已支援大多數hadoop元件,包括hdfs、mapreduce、hive、pig、hbase、zookeper、sqoop和hcatalog等。

shaun connolly是hortonworks公司負責公司戰略的副總裁,他在一篇新的部落格文章「apache amabri: hadoop operations, innovtation, and enterprise readiness」中強調,在這一年裡,ambari主要取得了以下成績:

1、通過一步一步的安裝嚮導簡化了集群**。

2、預先配置好關鍵的運維指標(metrics),可以直接檢視hadoop core(hdfs和mapreduce)及相關專案(如hbase、hive和hcatalog)是否健康。

3、支援作業與任務執行的視覺化與分析,能夠更好地檢視依賴和效能。

4、通過乙個完整的restful api把監控資訊暴露出來,整合了現有的運維工具。

5、使用者介面非常直觀,使用者可以輕鬆有效地檢視資訊並控制集群。

ambari使用ganglia收集度量指標,用nagios支援系統報警,當需要引起管理員的關注時(比如,節點停機或磁碟剩餘空間不足等問題),系統將向其傳送郵件。

此外,ambari能夠安裝安全的(基於kerberos)hadoop集群,以此實現了對hadoop 安全的支援,提供了基於角色的使用者認證、授權和審計功能,並為使用者管理整合了ldap和active directory。

apache ambari當前是6個頂級的開源hadoop管理工具之一。據connolly介紹,因為「穩定性和易管理性是hadoop 企業應用的兩個關鍵需求」,因此ambari是hadoop生態系統中的乙個重要部分。

FloraHolland使用Scrum管理業務變化

floraholland是全世界最大的花卉拍賣中心。他們想要同時對自己的業務單位和日常事務做出改變,並且決定使用scrum管理這些業務變化。在xp days benelux 2013大會上,來自於floraholland的linda dorlandt和mirna den blanken展示了他們是如...

使用拖管和執行緒

delegate void mydelegate mainf f 定義拖管 引數為mainf型別 thread t 宣告執行緒 public void threadstart 執行緒啟動擊需要的函式引數 thread.sleep 1000 迴圈執行執行緒中的createform函式 createfo...

使用mimikatz抓取windows管理員密碼

mimikatz是一款功能強大的輕量級除錯神器,通過它你可以提公升程序許可權注入程序讀取程序記憶體,他可以直接從 lsass中獲取當前處於active系統的登入密碼,lsass是微軟windows系統的安全機制它主要用於本地安全和登陸策略,通常我們在登陸系統時輸入密碼之後,密碼便會儲存在 lsass...