雙11大考 POLARDB分鐘級彈性讓企業輕鬆擴充套件

2021-09-13 02:07:01 字數 2644 閱讀 8675

polardb優勢解讀系列文章之——分鐘級彈性

儲存與計算分離

我們知道polardb乙個最大的特點是儲存與計算分離,所謂分離就是計算節點(db engine)和儲存節點(db store)在不同的物理伺服器上,任何落地到儲存裝置的i/o操作均為網路i/o。可能會有人問,走網路,延遲怎麼樣,效能好不好?在『價效比』這篇文章中簡單介紹過借助polarfs經過網路訪問polarstore的測試效果,與本地單副本ssd幾乎持平,這裡就不再贅述。

polardb的儲存與計算分離的架構,除了可以降低儲存成本,保證主備資料強一致、不丟資料之外,還帶來了乙個巨大的優勢,就是讓資料庫的『彈性伸縮』變得極為簡單、便捷。

做資料庫彈性的挑戰

雖然彈性伸縮是雲的一大特點,很多人也正是看上這一點,才把自己的it系統搬遷到雲上。但資料庫的彈性伸縮一直都是業界難題,不同於純粹提供計算服務的ecs,資料庫要想做好彈性需要應對這些問題:

首先,橫向擴充套件難。資料庫往往是業務系統的核心。資料必須流動、共享才有價值,因此在規模還不算很大的時候,資料庫一般都是集中式部署,這樣用起來簡單,比如多個業務庫的查詢,乙個sql就出來了。所以,對於資料庫很難通過橫向增加伺服器數量,達到線性的擴充套件能力。

其次,0宕機要求。資料庫的核心地位決定了一旦資料庫故障,真個業務就會癱瘓。因此資料庫是一定要做高可用,遮蔽任何的硬體故障,來保障業務不間斷。既要保障高可用,又要做彈性伸縮,就好像在高速飛行的飛機上換引擎,難度可想而知。

再次,資料比計算『重(zhong)』。資料庫的本質是存資料,但資料本質上是儲存在儲存裝置上的,當你發現儲存裝置i/o效能不夠時,公升級儲存裝置並不是一件容易的事。同樣,假如資料和計算在同一臺物理機時,這台物理機的cpu核數和主頻,就決定了計算力的上限,很難擴容。

現在,當突破了儲存與計算分離的效能瓶頸後,結合多節點共享同乙份資料的架構設計,我們終於可以在資料庫的彈性伸縮領域有了新的進展。

polardb的彈性優勢

如上圖,polardb是乙個分層架構,從上層的**polarproxy提供了讀寫分離、sql加速等功能,到中間的資料庫引擎節點polardb構造了一寫多讀的資料庫集群,再到底層的分布式儲存polarstore為上層提供多節點掛載的資料共享,每一層各司其職,共同構建了polardb雲資料庫集群。

從polardb產品定義上看,使用者購買的節點數和規格大小(比如4核16g)指的是中間這一層polardb的配置,上層polarproxy可以根據polardb的配置自適應調整,使用者不需購買也不用關心效能和容量。底層polarstore的容量是自動擴容,只須按照實際使用容量付費。

通常意義的擴充套件性,一般有縱向(scale up)和橫向(scale out)和兩種方式,縱向是指提公升配置,橫向是指配置不變,但增加節點。對於資料庫來說,都是先縱向,比如4核不夠公升到8核。但終歸會遇到瓶頸,一方面效能提公升非線性,跟資料庫引擎自身的設計和應用訪問模型有關(比如mysql的多執行緒設計,如果只有乙個session,那麼很難體現出多核的優勢),另一方面,計算物理伺服器配置有上限,存在天花板。因此終極手段還是橫向擴充套件,增加節點數。

一句話概括,__polardb橫向最多可以到16個節點,縱向最高可到88核 ,儲存容量動態擴充套件,毋須配置。__

縱向擴充套件(公升級/降級配置)

得益於儲存與計算分離,我們可以單獨公升級或降級polardb資料庫節點的配置,如果當前伺服器資源不足,還可以快速地遷移到其他伺服器,整個過程只需要5-10分鐘(持續優化中),中間不需要任何的資料搬遷,只是如果涉及到跨機遷移,可能會有幾十秒的連線閃斷(未來,這個影響可以通過polarproxy消除掉,公升級對業務應用完全無影響)。

因為目前同一集群內的所有節點必須繫結公升級,因此我們會採用非常柔和的rolling upgrade滾動公升級的方式,通過控制公升級的節奏、搭配主備切換來進一步減少不可用時間。

橫向擴充套件(增/減節點)

由於儲存是共享的,因此可以快速增加節點,而不需要任何的資料copy。整個過程也只需要5-10分鐘(持續優化中),如果是增加節點,對業務應用沒有任何影響,如果是減少節點,那麼僅對落到該節點執行的連線有影響,重練即可。

當增加節點之後,polarproxy可以動態感知並自動加入到讀寫分離後端的讀節點中,對於使用集群訪問位址(讀寫分離位址)連線polardb的應用程式可以立馬享受到更好的效能和吞吐。

毋須管理的儲存空間

polardb的儲存空間不需要關心,用多少付多少錢,每小時自動結算。

對於i/o能力,目前的設計是跟資料庫節點的規格有關係,規格越大,iops和i/o吞吐量越高,在節點上對i/o有隔離和限制,避免多個資料庫集群之間的i/o爭搶。

本質上,資料是被儲存在由大量伺服器構成的儲存池中,由於可靠性要求,每個資料塊複製出3個副本,儲存在不同機架的不同伺服器上。儲存池能夠進行自我管理,動態擴容、平衡,避免儲存碎片和資料熱點。

雙 11 大促,測試人什麼值得買?

又到了年度雙 11 買買買狂歡節,想必大多測試同學們都已經切換到標準的 雙11模式 在各種搜尋好物,平台比價,不惜下月吃土甚至咬牙割腎,都要清空購物車。雙 11 大促,測試人什麼值得買?最值好物 霍格沃茲測試學院三大測試開發熱招課程 口碑爆棚,任意挑選 沒錯,學習是最好的投資!為學習剁手,就是雙11...

阿里雲伺服器雙11大促 雙11拼團上雲低至85元

2020年11月1日訊息 適yomrigazqq逢雙11,商家們可謂使勁渾身解數,策劃各種 活動,阿里雲也上線了他們的雙11特惠 活動。阿里雲雙11活動和去年雙11活動相比,今年阿里雲 的雲伺服器配置更高 折扣更低。據悉,今年雙11阿里雲推出了 瓜分億元津貼 新人上雲紅包 全線產品 價 充值返券 1...

小公尺MIX3限時開售雙11開門大促

在新機的外觀設計方面,從渲染圖來看,全新的小公尺mix 3將採用真全面屏的設計。在新機的正面設計上,這一次的小公尺mix 3採用了一塊真全面屏,新機的屏佔比再次提高,前置攝像頭則依舊被放置在了機身的右下角,不過面積有了明顯的縮減。而在新機的背部設計上,這一次的小公尺mix 3將會延續此前的設計風格,...