根據gartner的預計,全球非關係型資料庫(nosql)在2020~2022預計保持在30%左右高速增長,遠高於資料庫整體市場。
阿里雲資料庫hbase版也是踏著技術發展的節奏,伴隨著nosql和大資料技術的興起和發展,從2023年開始研究和發展。時光荏苒,日月如梭,轉眼九年時間,在阿里雲上直接開放提供服務也有1年多時間,並在去年的12月份全新發布x-pack,將單一的hbase演進到乙個完整的資料處理平台的能力。我們注意到還有很多同學和客戶不清楚hbase x-pack是什麼,什麼場景下合適選擇hbase x-pack。
首先我們先來看下hbase x-pack的定位:
接下來一起來梳理一下阿里雲hbase x-pack關鍵能力,一起看看選擇阿里雲hbase x-pack的十個理由。
企業數位化轉型時代,業務越來越複雜,需要乙個平台可以提供一站式處理能力。傳統大資料各個元件非常多,各個元件分層發展,給擴充套件性帶來非常大的便利,但同時也引入了非常高的技術門檻,雲hbase x-pack通過整合spark,solr,hbase,時序,時空,圖等元件,打通各個元件之間的資料同步,通過資料工作台提供統一一體化互動式的操作體驗,實現計算、儲存、分析、檢索、機器學習五位一體的一站式能力,極大的降低了使用門檻,輕鬆上手,同時提供全託管的服務,避免各種複雜的運維和技術坑。
雲hbase x-pack詳細的能力可以訪問雲hbase的幫助,裡面有各個能力詳細的介紹:
企業決策選擇雲服務,最核心的乙個因素就是降低tco,最看重的核心因素就是背後的技術力量,服務能力。
阿里雲hbase x-pack經過9年的發展,積累強大的專家團隊,目前擁有國際認證7個committer,4個pmc,擁有國內獨一無二的技術實力。
我們擁有集團超過萬台的服務經驗,對各種異常場景,資料可靠性,可用性,效能,資料遷移各個方面有全套的服務和工具。
阿里雲hbase提供的版本是經過、千錘百鍊的企業版本,在穩定性和效能上遠勝於開源的版本,並且全球首家提供最新2.0版本。關於阿里雲hbase發展歷程,可以看這裡詳細介紹:阿里雲hbase和開源版本的關鍵區別,可以檢視:
gartner在2023年資料庫廠商推薦報告中就明確指出多模是發展趨勢阿里雲新發布x-pack更是將多模推上新高度,kv的基礎上,同時支援時序、時空、圖、文件等多種資料模型。
我們知道,大資料時代,業務多樣性是大資料的本質之一,強制使用單一模型只會降低生產效率,hbase x-pack提供kv、sql、時序、時空、圖豐富的多模多模能力,幫助客戶可以根據不同的業務選擇不同的資料處理模型,支援業務靈活選擇,從而實現最高效率的開發和生產。
hbase誕生於google的bigtable**,天然是為了儲存海量網際網路資料而誕生,低成本能力是其天然的屬性。雲hbase x-pack在繼承hbase自身能力的同時,為了給客戶節省成本做了很多努力。體現在核心,整體方案各個方面,主要有:
碰到非結構化資料查詢的訴求時,大家一般會想起es。es適合文字查詢,入庫會比較差(一般就幾百條/s),查詢函式也有限。hbase x-pack通過支援solr完全補齊了文字查詢的能力。同時phoneix+solr組合結合了hbase和搜尋的兩者的優勢,在吞吐和併發上有優勢。對sql的易用性也有優勢。尤其是在新零售等場景,一張表中混雜結構化欄位和非結構化字段,可以根據需求,自動建立索引,融合兩者的優勢。倒排膨脹率很高,入庫會極速下降。大部分客戶只是部分欄位有模糊查詢的需求,es強制所有的用單一技術。phoneix非常適合併發高的查詢,條件不多。搜尋技術補充了索引技術,適合各種條件。通過結合phoneix+solr成功平滑查詢和儲存效能,提高效能的同時,儲存成本也下降幾倍,非常適合結構化+非結構化混合的場景。
使用hbase x-pack spark能夠構建業界成熟的一體化資料處理平台,支撐推薦、風控、脫機數倉、實時處理及計算、大資料運營、日誌分析、去oracle複雜分析等業務場景:
對大多數公司來說資料的安全性以及可靠性是非常重要的,如何保障資料的安全以及資料的可靠是大多數資料庫必須考慮的。2016 idc的報告表示資料的備份(data-protection)和資料恢復(retention)是nosql的最基礎的需求之一,阿里雲nosql資料庫也一直把怎麼保障客戶的資料安全放在首位。
以雲hbase為例,傳統資料庫備份恢復的能力都是tb級別,在交易等場景下面是足夠的,但面向大資料場景就捉襟見肘了。雲hbase通過垂直整合高壓縮、核心級優化等能力,將備份恢復的量級成功推高百倍以上,做到 百tb級別甚至更高 ,讓客戶在大資料量場景下也無後顧之憂。
雲hbase支援全量(備份集)備份、全量(備份集)恢復、增量(實時)備份、增量(時間點)恢復完整備份恢復能力。
hbase通過核心加固,一系列自動運維修復工具,單集群可以提供3個9的可用性,為了滿足很多場景下面更高可用性的要求,雲hbase支援跨可用區或者跨地域雙集群主備同步,可以讓多個hbase集群保持同步關係。在乙個集群出現故障的時候,迅速地將業務切換至另外乙個集群從而避免故障。hbase主備之間資料的同步基於非同步鏈路實現,遵循最終一致性協議,典型的主備同步延遲在200ms左右。
阿里雲hbase從10年上線以來,在阿里集團內部久經考驗,超過12000臺伺服器,單集群超過2000臺的規模應用。
雲hbase自發布以來,通過豐富的能力,優秀的全託管能力,全面超越同類產品的技術能力得到金融、社交、多**、新零售、車聯網網、制作業、政企等等多個行業,多上千個客戶的信賴,積累了大量的使用經驗。歡迎我們的新老客戶訪問首頁獲取更多的資訊:
雲資料庫HBase版使用教程
基本了解 hbase 是乙個分布式的 面向列的開源資料庫,該技術 於 fay chang 所撰寫的google bigtable 乙個結構化資料的分布式儲存系統 就像bigtable利用了google檔案系統 file system 所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似...
雲資料庫HBase版使用教程
基本了解 hbase 是乙個分布式的 面向列的開源資料庫,該技術 於 fay chang 所撰寫的google bigtable 乙個結構化資料的分布式儲存系統 就像bigtable利用了google檔案系統 file system 所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似...
python連阿里雲資料庫
阿里雲上的mysql,所以用的pymysql的庫。如果沒有安裝pymysql庫要先安裝。確定host,使用者名稱,密碼,介面 一般是3306 conntest pymysql.connect 11 host rm mysql.rds.aliyuncs.com 12 user abc 13 passw...