kudu教程（二）產生背景

##kudu教程（二）——產生背景

1 功能上的空白

hadoop生態系統有很多元件，每乙個元件有不同的功能。在現實場景中，使用者往往需要同時部署很多hadoop工具來解決同乙個問題，這種架構稱為混合架構 (hybrid architecture)。比如，使用者需要利用hbase的快速插入、快讀random access的特性來匯入資料，hbase也允許使用者對資料進行修改，hbase對於大量小規模查詢也非常迅速。同時，使用者使用hdfs/parquet + impala/hive來對超大的資料集進行查詢分析，對於這類場景， parquet這種列式儲存檔案格式具有極大的優勢。

很多公司都成功地部署了hdfs/parquet + hbase混合架構，然而這種架構較為複雜，而且在維護上也十分困難。首先，使用者用flume或kafka等資料ingest工具將資料匯入hbase，使用者可能在hbase上對資料做一些修改。然後每隔一段時間(每天或每週)將資料從hbase中匯入到parquet檔案，作為乙個新的partition放在hdfs上，最後使用impala等計算引擎進行查詢，生成最終報表。

這樣一條工具鏈繁瑣而複雜，而且還存在很多問題，比如：

如何處理某一過程出現失敗

從hbase將資料匯出到檔案，多久的頻率比較合適

當生成最終報表時，最近的資料並無法體現在最終查詢結果上

維護集群時，如何保證關鍵任務不失敗

parquet是immutable，因此當hbase中刪改某些歷史資料時，往往需要人工干預進行同步

這時候，使用者就希望能夠有一種優雅的儲存解決方案，來應付不同型別的工作流，並保持高效能的計算能力。cloudera很早就意識到這個問題，在2023年就開始計畫開發kudu這個儲存系統，終於在2023年發布並開源出來。kudu是對hdfs和hbase功能上的補充，能提供快速的分析和實時計算能力，並且充分利用cpu和i/o資源，支援資料原地修改，支援簡單的、可擴充套件的資料模型

新的硬體裝置

ram的技術發展非常快，它變得越來越便宜，容量也越來越大。cloudera的客戶資料顯示，他們的客戶所部署的伺服器，2023年每個節點僅有32gb ram，現如今增長到每個節點有128gb或256gb ram。儲存裝置上更新也非常快，在很多普通伺服器中部署ssd也是屢見不鮮。hbase、hdfs、以及其他的hadoop工具都在不斷自我完善，從而適應硬體上的公升級換代。然而，從根本上，hdfs基於03年gfs，hbase基於05年bigtable，在當時系統瓶頸主要取決於底層磁碟速度。當磁碟速度較慢時，cpu利用率不足的根本原因是磁碟速度導致的瓶頸，當磁碟速度提高了之後，cpu利用率提高，這時候cpu往往成為系統的瓶頸。hbase、hdfs由於年代久遠，已經很難從基本架構上進行修改，而kudu是基於全新的設計，因此可以更充分地利用ram、i/o資源，並優化cpu利用率。我們可以理解為，kudu相比與以往的系統，cpu使用降低了，i/o的使用提高了，ram的利用更充分了。

設計初衷

kudu設計的初衷為了解決如下問題：

對資料掃瞄(scan)和隨機訪問(random access)同時具有高效能，簡化使用者複雜的混合架構

高cpu效率，使使用者購買的先進處理器的的花費得到最大回報

高io效能，充分利用先進儲存介質

支援資料的原地更新，避免額外的資料處理、資料移動

支援跨資料中心replication

kudu的很多特性跟hbase很像，它支援索引鍵的查詢和修改。cloudera曾經想過基於hbase進行修改，然而結論是對hbase的改動非常大，kudu的資料模型和磁碟儲存都與hbase不同。hbase本身成功的適用於大量的其它場景，因此修改hbase很可能吃力不討好。最後cloudera決定開發乙個全新的儲存系統。

kudu的定位是提供」fast analytics on fast data」，也就是在快速更新的資料上進行快速的查詢。它定位olap和少量的oltp工作流，如果有大量的random accesses，官方建議還是使用hbase最為合適。

kudu教程（二）產生背景

kudu教程（一）簡介

二產品必備知識1 需求分析

知識表示之二產生式規則表示法

kudu教程（二） 產生背景

kudu教程（一） 簡介

二 產品必備知識1 需求分析

知識表示之二 產生式規則表示法

相關推薦

kudu教程（二）產生背景

kudu教程（一）簡介

二產品必備知識1 需求分析

知識表示之二產生式規則表示法