概述：
此分享是關於hadoop集群監控與hive高可用的分享彙總,作者來自暴風影音
彙總點：
hadoop監控基於cacti主要包括：io，cpu，記憶體，io等待缺點是模板太少
hadoop監控基於ganglia包括負載、頻寬等缺點是配置複雜
hive的高可用可以基於haproxy和多個hive thrift server
haproxy解決優化了tcp超時、hive健康檢查日誌檔案太多、輪詢優化
基於phphiveadmin進行頁面展示
hadoop集群監控工具ambari
apache ambari是一種基於web的工具，支援apache hadoop集群的 管理和監控。ambari目前已支援大多數hadoop元件，包括hdfs mapreduce hive pig hbase zookeper sqoop和hcatalog等。apache ambari 支援hdfs...
Ganglia監控Hadoop集群的安裝部署
ganglia是uc berkeley發起的乙個開源實時監視專案，用於測量數以千計的節點，為雲計算系統提供系統靜態資料以及重要的效能度量資料。ganglia系統基本包含以下三大部分。gmond gmond執行在每台計算機上，它主要監控每台機器上收集和傳送度量資料 如處理器速度 記憶體使用量等 gme...
Hive之 hive與hadoop的聯絡
hive與hadoop呼叫圖 解析 1 提交sql 交給驅動 2 驅動編譯 解析相關的字段表資訊 3 去metastore查詢相關的資訊 返回字段表資訊 4 編譯返回資訊 發給驅動 5 驅動傳送乙個執行計畫 交給執行引擎 6 執行計畫 三種形式 metastore namenode metastor...