資料倉儲和Hadoop大資料平台有什麼差別?

2022-08-29 05:21:08 字數 775 閱讀 2937

廣義上來說,hadoop大資料平台也可以看做是新一代的資料倉儲系統, 它也具有很多現代資料倉儲的特徵,也被企業所廣泛使用。因為mpp架構的可擴充套件性,基於mpp的資料倉儲系統有時候也被劃分到大資料平台類產品。

但是資料倉儲和hadoop平台還是有很多顯著的不同。針對不同的使用場景其發揮的作用和給使用者帶來的體驗也不經相同。使用者可以根據下表簡單判斷什麼場景更適合用什麼樣的產品。

資料倉儲和hadoop大資料平台特性比較

特性hadoop

data warehouse

計算節點數

可到數千個

一般在128個以內

資料量支援大於10pb

一般不大於5pb

資料型別

關係型時延

中/高低

應用生態

創新型/人工智慧

傳統資料庫型/bi類

應用開發介面

sql,mr,豐富的程式語言介面

標準資料庫sql

可擴充套件性

無窮的可能,完整的程式設計介面

有限擴充套件能力,主要通過udf支援

事務支援

有限完整

資料倉儲和hadoop平台互為補充,立足於滿足客戶在不同使用場景下的業務需求。公有雲資料倉儲服務dws能夠無縫地接入到公有雲hadoop平台mrs服務上,支援sql-over-hadoop的這個特性,提供跨平台, 跨服務的資料共享。讓使用者在充分享受hadoop帶來的開放,便捷,創新的同時,繼續使用熟悉的資料(倉)庫方式管理和使用自己的海量資料。繼續使用傳統的資料倉儲的上層應用,特別是商業智慧型bi類的應用。

資料倉儲和Hadoop大資料平台有什麼差別?

但是資料倉儲和hadoop平台還是有很多顯著的不同。針對不同的使用場景其發揮的作用和給使用者帶來的體驗也不經相同。使用者可以根據下表簡單判斷什麼場景更適合用什麼樣的產品。資料倉儲和hadoop大資料平台特性比較 特性hadoop data warehouse 計算節點數 可到數千個 一般在128個以...

資料倉儲和Hadoop大資料平台有什麼差別?

廣義上來說,hadoop大資料平台也可以看做是新一代的資料倉儲系統,它也具有很多現代資料倉儲的特徵,也被企業所廣泛使用。因為mpp架構的可擴充套件性,基於mpp的資料倉儲系統有時候也被劃分到大資料平台類產品。推薦乙個大資料學習群 119599574晚上20 10都有一節 免費的 大資料直播課程,專注...

初識大資料(三 Hadoop與MPP資料倉儲)

mpp代表大規模並行處理,這是網格計算中所有單獨節點參與協調計算的方法。是將任務並行的分散到多個伺服器和節點上,在每個節點上計算完成後,將各自部分的結果彙總在一起得到最終的結果。mpp dbms是建立在這種方法之上的資料庫管理系統。在這些系統中的每個查詢都會被分解為由mpp網格的節點並行執行的一組協...