在hadoop
生態系統中,規模最大、知名度最高的公司則是
cloudera
。現在國內很多公司也都選用他們的發行版本(
cdh)。
cloudera由來自
facebook、谷歌
和雅虎的前工程師傑夫·哈默巴切(jeff hammerbacher)
、克里斯多福·比塞格利亞
(christophe bisciglia)
、埃姆·阿瓦達拉
(amr awadallah)
以及現任
ceo、甲骨文前高管邁克·奧爾森
(mike olson)
在2008
年建立。
首先來看下cloudera
的技術框架:
主要有幾大主要的元件:
1、hbase:hbase
是乙個分布式的,擴充套件性很強的儲存,主要受
g oogle
的bigtable
的啟發,可以參考前面寫過《
實時分析系統(hive/hbase/impala)
**》。
2、impala:i
mpala
是cloudera
在受到google
的dremel
啟發下開發的實時互動
sql大資料查詢工具,
impala
沒有再使用緩慢的
hive+mapreduce
批處理,而是通過使用與商用並行關聯式資料庫中類似的分布式查詢引擎(由
query planner
、query coordinator
和query exec engine
三部分組成),可以直接從
hdfs
或hbase
中用select
、join
和統計函式查詢資料,從而大大降低了延遲。
impala現在還談不上成熟,cloudera堅持在impala上投入,相信會有乙個比較好的發展。
3、spark
:spark
是伯克利大學開源的乙個記憶體分布式計算引擎。記憶體替代硬碟成為趨勢,所以
spark
uc,**都有團隊在研究和應用。
相比hortonworks
,cloudera
hadoop發行商介紹:
hortonworks
》,但是從目前業界的情況來看,cloudera
堅持了自己的技術,普遍認為
cloudera
的發展潛力更大,包括最近
intel
放棄自己的發行版本,轉而支援
cloudera
。從hortonworks
和cloudera
兩家都支援的力度來看,
spark
是未來的乙個方向,盡快現在還存在或多或少的問題,記憶體替代硬碟的趨勢基本得到了所有人的認同。
除了hortonworks
和cloudera
兩家主要的髮型版提供商,
hadoop
髮型領域還有
mapr
,emc
等,各有特點。從大多數應用來說,選擇
cloudera
和hortonworks
就足夠了,更具技術能力的公司,可以考慮在開源的基礎上封裝,完善開源以適合自己的應用。當能,要考慮及時將自己的成果開源出去哦,無數的經驗證明,不開源出去的軟體單靠單個公司去維護,很快就會沒有生命力的。
世界頂級遊戲發行商TOP20 2005 11 23
以下是國外某雜誌評出的年度20強遊戲發行商,依據6個標準評判遊戲發行商的表現 營業額,遊戲發售數量,平均測評得分,產品質量,里程金可靠性和員工工資和工作品質。結果ea連續3年蟬聯榜首,其年收入已達到31億美元。activision由於其x man,東尼霍克,蜘蛛人和羅馬 全面戰爭等系列的成績,從去年...
遊戲業十大最富有發行商
摘自 http data.gameres.com article.game?id 162528 1.動視暴雪 activision blizzard,簡稱ab 2.電子藝界 electronic arts,nasdaq erts,簡稱ea 3.卡普空 capcom 4.南夢宮百代 namco 5.史...
Hadoop入門掃盲 hadoop發行版介紹與選擇
一 hadoop發行版介紹 目前hadoop發行版非常多,有intel發行版,華為發行版 cloudera發行版 cdh hortonworks版本等,所有這些發行版均是基於apache hadoop衍生出來的,之所以有這麼多的版本,是由於apache hadoop的開源協議決定的 任何人可以對其進...