關於Hadoop結合RDBMS應用的一些思考

最近一段時間一直在從事和hadoop相關的工作，主要是技術內容學習、安裝配置優化以及一些框架結構的設計。在此期間，我對於rdbms和hadoop的結合應用有了一些自己的看法，寫出來大家共同**一下。

1、為什麼要用hadoop

這個在網上已近有很多的人說過這個問題，我在這裡就不多述了。但是我想說下，對於乙個工具而言，只有最合適的應用場景沒有最牛的工具。hadoop對我而言也只是乙個工具，所以，更多的時候我是從業務角度出發去考慮hadoop能給我帶來什麼。

2、rdbms？

rdbms是關係型資料庫英文縮寫，但對於我而言，就是oracle（因為我現在的公司用就是）。關於rdbms和nosql誰更好這個話題爭論的太多了，我也看了不少。但是我個人的感覺是，當前的rdbms做的工作想用hadoop來替代，基本是不可能，二者只能是互補互助，才能和諧共進（構建和諧社會，哈哈）。

3、資料倉儲和資料庫

就我個人的理解，資料倉儲更傾向於資料的挖掘和分析，對實時性要求較低。而資料庫則是對實時性響應較高，做為資料探勘而言，雖然就目前當前看來是可以勝任，但是一旦資料量龐大（tb級別資料甚至pb級別），直接結果將是資料檢索速度急劇下降，一些oracle執行的的挖掘job都有可能跑不出結果。所以，這也是為什麼我在思考如何將hadoop和rdbms結合應用的原因。廢話不多說了，自己畫了個草圖大家先看看：

4、總體思想

由於工作環境和工作內容的特殊性，我這裡並不涉及到大併發訪問，所以，只要滿足實時性的查詢和資料探勘即可。基於上圖，我的總體思想如下：

a、將資料來源在輸入的時候就對資料進行拆分，一些側重於資料分析和對實施響應要求較低的資料檔案劃分為「低實時性資料」。將一些相應速度要求較高的資料檔案劃分為「高實時性資料」。當然，這樣劃分可能資料之間可能會有交集，也就是說存在資料重複存放的可能性，所以，劃分的具體原則需要結合業務詳細制定。

b、「低實時性資料」存入hdfs檔案系統，採用m/r或是hive來進行一些挖掘的工作。而「高實時性資料」則存放在傳統的rdbms中，用以響應使用者的實時查詢需求。

c、hadoop挖掘的資料結果可以協商好的格式存放到rdbms中，提供為資料分析的基礎。實際上，可以理解是hadoop對資料內容進行的預處理，rdbms則是在該結果的基礎上進行高階功能（分析、比對、資料碰撞等）內容展示和二次分析。

d、使用者也可直接的傳送指令給hadoop，進行一些特殊的資料探勘工作，結果不需要存放到rdbms中，直接反饋到使用者web介面。（圖上沒表現出來）

5、總結

a、當前這樣的應用模型可能會帶來一些冗餘資料，但是至少緩解了一些當前rdbms的壓力。

b、我最早也想過完全替換rdbms，對於實時的查詢我想採用hbase，但是在一段時間之後我發現hbase對一些查詢支援的並不好。這裡專門提出來也是希望大家能夠給我解疑答惑，對於hbase如何應用是合適的？或者說在這個模型中是否還有hbase的位置？

綠悠悠發帖於 3年前

4回/3060閱

標籤：

0收藏(5)

0 0

關於Hadoop結合RDBMS應用的一些思考

關於Hadoop結合RDBMS應用的一些思考

關於Hadoop結合RDBMS應用的一些思考

hadoop和傳統rdbms的比較（翻譯）

相關推薦