資料分析師都想使用資料庫作為資料倉儲處理並運算元據,那麼哪一款資料庫最合適分析師呢?
雖然網上已經有很多對各種資料庫進行比較的文章,但其著眼點一般都是架構、成本、可伸縮性和效能,很少考慮另乙個關鍵因素:分析師在這些資料庫上編寫查詢的難易程度。最近,mode的首席分析師benn stancil發布了一篇文章,從另乙個角度闡釋了哪一款資料庫最適合資料分析師。
benn stancil認為資料分析工作不可能一蹴而就,分析師在使用資料庫的過程中阻礙他們速度的往往不是巨集觀上的效能,而是編寫查詢語句時的細節。例如,在redshift中如何獲取當前時間,是now()、curdate()、curdate、sysdate 還是whatdayisit。
在mode公司,分析師每天都會使用各種不同的語言編寫幾千個查詢,執行在mode編輯器裡的查詢超過百萬個,而benn stancil就是從這些資料出發,對mysql、postgresql、redshift、sql server、bigquery、vertica、hive和impala這八款資料庫進行了比較。
1.查詢錯誤是否容易解決
首先,benn stancil認為查詢錯誤是否容易解決是衡量資料庫的乙個最基本指標。資料庫提供的錯誤資訊(通常是語法錯誤、函式名錯誤、逗號錯位等)最能表明該系統是否會對資料分析師造成極大的挫敗感。通過對8種資料庫查詢錯誤頻率的比較,benn stancil發現vertica和sql server錯誤率最高,mysql和impala最低,如圖所示:
但是,對於該結果benn stancil認為可能有點不嚴謹,因為impala、mysql和hive是開源的免費產品,而vertica、sql server和bigquery不是,後三者的使用者通常是有充足分析預算的大型企業,其較高的錯誤率很有可能是由於使用更深入而不是語言「更難用」。
2.複雜性
除了錯誤率之外,benn stancil還討論了複雜性。雖然不同語言其查詢長度、查詢複雜性和語言複雜性之間的關係盤根錯節,要界定清楚很難,但可以間接使用查詢長度作為度量的指標,因為一門語言之所以簡單很有可能是因為它簡潔。這八種資料庫查詢長度的統計結果如下:
如果說單純地比較最終的長度有失偏頗,那麼可以看看隨著分析的逐步深入,查詢逐漸變複雜的過程中,其修改次數與長度之間的關係:
該圖顯示,經過20次左右的編輯之後,查詢長度通常會變為之前的2倍,而在100次編輯之後,長度會變為之前的3倍。那麼在修改的過程中,其編輯次數與出錯的比率又是什麼樣子的呢?
從圖中可以看出,postgresql、mysql和redshift的錯誤率較低,impala、bigquery和sql server的錯誤率較高。另外,和之前一樣,vertica的錯誤率依然最高。
3.分析師技能
此外,benn stancil認為分析師的技能也很重要。他對使用多個資料庫並且在每個資料庫上至少執行了10個查詢的分析師進行了統計,計算了這些分析師在每個資料庫上的查詢錯誤率,並根據統計結果構建了下面的矩陣:
該矩陣展示的是頂部資料庫與左邊資料庫相比其錯誤率的差別,數值越高表現就越差。例如,hive和bigquery交叉處的「20.2」表示:對使用這兩款資料庫的分析師,其使用hive的錯誤率要比使用bigquery高20.2。最底部的total行是結果總計,從中可以看出mysql和postgresql始終表現較好;vertica跳躍最大,幾乎是從最底部跳到了中游,打敗了sql server 和hive,這也暗示了vertica的高錯誤率很可能是由於分析師的能力而不是語言本身。
最後,benn stancil認為在分析的這8個資料庫中,mysql和postgresql編寫sql最簡單,應用也最廣泛,但與vertica和sql server相比它們的特性不夠豐富,而且速度要慢。綜合各方面的因素,redshift或許才是最好的選擇。
什麼資料庫最適合資料分析師
資料分析師都想使用資料庫作為資料倉儲處理並運算元據,那麼哪一款資料庫最合適分析師呢?雖然網上已經有很多對各種資料庫進行比較的文章,但其著眼點一般都是架構 成本 可伸縮性和效能,很少考慮另乙個關鍵因素 分析師在這些資料庫上編寫查詢的難易程度。最近,mode的首席分析師benn stancil發布了一篇...
什麼是最適合雲資料庫的架構設計?
分布式資料庫技術發展多年,但是在應用 業務的驅動下,分布式資料庫的架構一直在不斷發展和演進。開源金融級分布式資料庫sequoiadb,經過6年的研發,堅持從零開始打造資料庫核心引擎。在技術探索中,選擇了更適合雲資料庫場景的架構和引擎設計。本文也將詳細展開,介紹目前sequoiadb的架構與設計理念。...
為什麼資料分析師要用產品思維?
資料分析的目的決定了不同的方式方法,出發點永遠是如何指導工作,無論是最基礎的了解現狀及趨勢,還是機器自動學習的演算法改進,永遠如此。在我看來,資料分析不是一項工作,尤其不是從後台取個資料,做個圖表的工作,而是乙個產品,能夠滿足某種實際工作需要的產品。比如資料指數系統,用來指導運營工作,讓運營的同仁能...