cdh 簡介 CDH 1 CDH簡介

1、apache hadoop 不足之處

• 版本管理混亂

• 部署過程繁瑣、公升級過程複雜

• 相容性差

• 安全性低

2、hadoop 發行版

• apache hadoop

• cloudera』s distribution including apache hadoop(cdh)

• hortonworks data platform (hdp)

• mapr

• emr

3、cdh能解決哪些問題

• 1000臺伺服器的集群，最少要花費多長時間來搭建好hadoop集群，包括hive、hbase、flume、kafka、spark等等

• 只給你一天時間，完成以上工作？

• 對於以上集群進行hadoop版本公升級，你會選擇什麼公升級方案，最少要花費多長時間？

• 新版本的hadoop，與hive、hbase、flume、kafka、spark等等相容？

4、cdh簡介

• cloudera's distribution, including apache hadoop

• 是hadoop眾多分支中的一種，由cloudera維護，基於穩定版本的apache hadoop構建

• 提供了hadoop的核心

– 可擴充套件儲存

– 分布式計算

• 基於web的使用者介面

5、cdh的優點

• 版本劃分清晰

• 版本更新速度快

• 支援kerberos安全認證

• 文件清晰

• 支援多種安裝方式(cloudera manager方式)

6、cdh安裝方式

• cloudera manager

• yum

• rpm

• tarball

• cdh5.4

•cloudera manager5.4.3：

cdh 簡介 CDH 1 CDH簡介

1 apache hadoop 不足之處 版本管理混亂 部署過程繁瑣 公升級過程複雜 相容性差 安全性低 2 hadoop 發行版 apache hadoop cloudera s distribution including apache hadoop cdh hortonworks data p...

cdh使用者許可權 cdh設定hdfs許可權

通常會把 root 或者需要的使用者新增到 supergroup組，但linux下預設是沒有supergroup組。linux下預設是沒有supergroup組的 hadoop x 994 hdfs,mapred,yarn cat etc group 檢視hdfs使用者的組是hadoop hdfs ...

CDH效能優化

cdh5支援的大多數linux系統都支援乙個叫做transparent hugepage compaction特性。該特性會導致hadoop的工作負載和效能會嚴重降低 症狀 top或其他系統監控工具顯示了system cpu這個類別的cpu處理耗用很大。如果system cpu使用 30 則你的系統...