hadoop發行商介紹 Cloudera

2021-09-02 03:07:14 字數 1868 閱讀 7994

在hadoop

生態系統中,規模最大、知名度最高的公司則是

cloudera

。現在國內很多公司也都選用他們的發行版本(

cdh)。

cloudera由來自

facebook、谷歌

和雅虎的前工程師傑夫·哈默巴切(jeff hammerbacher)

、克里斯多福·比塞格利亞

(christophe bisciglia)

、埃姆·阿瓦達拉

(amr awadallah)

以及現任

ceo、甲骨文前高管邁克·奧爾森

(mike olson)

在2008

年建立。

首先來看下cloudera

的技術框架:

主要有幾大主要的元件:

1、hbase:hbase

是乙個分布式的,擴充套件性很強的儲存,主要受

g oogle

的bigtable

的啟發,可以參考前面寫過《

實時分析系統(hive/hbase/impala)

**》。

2、impala:i

mpala

是cloudera

在受到google

的dremel

啟發下開發的實時互動

sql大資料查詢工具,

impala

沒有再使用緩慢的

hive+mapreduce

批處理,而是通過使用與商用並行關聯式資料庫中類似的分布式查詢引擎(由

query planner

、query coordinator

和query exec engine

三部分組成),可以直接從

hdfs

或hbase

中用select

、join

和統計函式查詢資料,從而大大降低了延遲。

impala現在還談不上成熟,cloudera堅持在impala上投入,相信會有乙個比較好的發展。

3、spark

:spark

是伯克利大學開源的乙個記憶體分布式計算引擎。記憶體替代硬碟成為趨勢,所以

spark

uc,**都有團隊在研究和應用。

相比hortonworks

,cloudera

hadoop發行商介紹:

hortonworks

》,但是從目前業界的情況來看,cloudera

堅持了自己的技術,普遍認為

cloudera

的發展潛力更大,包括最近

intel

放棄自己的發行版本,轉而支援

cloudera

。從hortonworks

和cloudera

兩家都支援的力度來看,

spark

是未來的乙個方向,盡快現在還存在或多或少的問題,記憶體替代硬碟的趨勢基本得到了所有人的認同。

除了hortonworks

和cloudera

兩家主要的髮型版提供商,

hadoop

髮型領域還有

mapr

,emc

等,各有特點。從大多數應用來說,選擇 

cloudera

和hortonworks

就足夠了,更具技術能力的公司,可以考慮在開源的基礎上封裝,完善開源以適合自己的應用。當能,要考慮及時將自己的成果開源出去哦,無數的經驗證明,不開源出去的軟體單靠單個公司去維護,很快就會沒有生命力的。

世界頂級遊戲發行商TOP20 2005 11 23

以下是國外某雜誌評出的年度20強遊戲發行商,依據6個標準評判遊戲發行商的表現 營業額,遊戲發售數量,平均測評得分,產品質量,里程金可靠性和員工工資和工作品質。結果ea連續3年蟬聯榜首,其年收入已達到31億美元。activision由於其x man,東尼霍克,蜘蛛人和羅馬 全面戰爭等系列的成績,從去年...

遊戲業十大最富有發行商

摘自 http data.gameres.com article.game?id 162528 1.動視暴雪 activision blizzard,簡稱ab 2.電子藝界 electronic arts,nasdaq erts,簡稱ea 3.卡普空 capcom 4.南夢宮百代 namco 5.史...

Hadoop入門掃盲 hadoop發行版介紹與選擇

一 hadoop發行版介紹 目前hadoop發行版非常多,有intel發行版,華為發行版 cloudera發行版 cdh hortonworks版本等,所有這些發行版均是基於apache hadoop衍生出來的,之所以有這麼多的版本,是由於apache hadoop的開源協議決定的 任何人可以對其進...