超融合架構 主資料儲存使命之外

2021-09-23 06:29:38 字數 4638 閱讀 9340

在主站點上實現的資料儲存與工作負載廣為人知——而與之對應二級站點則並非如此。也正因此,近年以來二級站點相比主站點,在體系結構方面發展甚緩。

按照慣例,資料儲存的主站點與應用程式直接讀寫、互動資料;工作負載的主站點上則負責程式執行,但並不一定用於支援終端使用者。一級或二級應用程式(如erp、crm、microsoft exchange與sql server等)往往都被視為主站點上關鍵應用程式。在二級站點上,我們一般只會想到資料保護、歸檔、複製、重複資料刪除、壓縮、加密、分析報表以及二級應用的測試和開發,這些應用需要使用到那些在主站點中產生,並在二級站點儲存的資料。

不過,今天在二級站點領域發生著翻天覆地的變化,其中充斥著各種晦澀而混亂的概念,大量的**商通常只針對解決某個單一的問題。事實上,直到最近業內才開始從一種統一的視角來觀察以往這些形態各異的,位於二級站點的應用和資料。

這些定義並非明晰確鑿的:雖然這聽上去有些奇怪——儲存與應用究竟是在主站點還是二級站點上,其邊界相當模糊。我們就此展開全文。

從主站點上著手

現在資料的二級儲存像主儲存那樣,正在開始經歷一種結構性的轉變。我們首先總結歸納出在主儲存端所發生的事,因為這同樣適用於這場在二級儲存上展開的變革。

煙囪式的主儲存帶來了相當大的混亂,對成本、時間效率以及應用程式效能所造成的影響數不甚數。所幸的是,我們已經看到了虛擬化技術應用、橫向擴充套件、融合,以及最近才出現的超融合所帶來的諸多改善。

虛擬化技術抽象了計算資源,改變了我們提供和管理硬體資源的方式。融合則以整合的方式將計算、儲存、網路與虛擬化相結合,使得基礎架構更易於購買、交付和管理。超級融合從本質上將計算、儲存和儲存網路(san、nas)融合到乙個單一的實體和橫向擴充套件的架構之中,從而顛覆了整個行業。

由於超融合技術消除了it行業在過往的三十年內一直想要解決的痛點,其成長與發展遠未有結束。例如說,超融合可以減少或消除計算與儲存資源在配置、微調、交付、管理以及仲裁方面的負載,並且很快會涉足到網路領域。

問題在於……

假如說超融合對資料儲存和工作負載的主站點而言能帶來如此多的收益,那麼其能在二級儲存方面發揮同樣的作用嗎? 雖然超融合有諸多創新,但上述問題的答案是,「不」。

從概念上看這樣做似乎不難。我們應該應用超融合、橫向擴充套件的檔案系統、虛擬化、軟體定義儲存(sds)等技術,令二級站點像主站點那樣更具效能。

但這著實是一項艱鉅的挑戰。我們不禁開始思考是否有可能開發出一款包羅永珍的產品來囊括所有二級站點上負載,而非各種功能的胡拼亂湊。

在解決這項難題之前,讓我們先來描繪出這項新的體系結構所要達成的目標。

超融合二級儲存

在taneja集團內部,我們已經將這種新的體系結構定義為超融合二級儲存。命名規則相當簡單:這類產品應用超融合原則,並完全服務於二級站點的工作負載。

在開始閱讀我們對這種全新超融合二級儲存概念所做定義時,請注意,有些產品即使缺少某些特定的功能,但它們或許仍然會屬於超融合二級儲存這個範疇。其中的關鍵點在於,「產品的架構是否便於增加新的功能,而非從功能上完全進行重構?」目前市場上各**商的產品沒有完全符合上述定義:有一些較為接近而另一些則完全不同。所有這些都與主儲存端的超融合技術發展完全一致。

另外,你還必須確定缺失的內容對你而言是否是至關重要的。這裡所列出的是超融合二級儲存所應涵蓋的基本要求:

儲存必須使用節點的體系結構,支援幾近無限的「橫向擴充套件」模式,事實上,「無限」意味著這種結構與當前的公有雲相同;即,對於特定的應用集合,結構可以無限按需擴充套件,而不用擔心效能下降或增加延遲的風險。

儲存能夠自動應對處理多項不同效能需求的工作負載而無需人工介入調整。使用在應用主站點的超融合架構原理在此同樣適用。

軟體定義是這類儲存的核心,其使得控制層與資料層分離,從而令系統可以使用市場上絕大多數現有的硬體,擺脫被硬體鎖定的風險;同樣,其既可以在本地,亦可以執行於雲端。

儲存與公共雲或私有雲緊密整合。除了將資料傳送到雲端外,這還意味著能夠在雲端完成資料的管理與保護。其必須能夠無縫得將雲作為乙個儲存層。

儲存可以應對處理當前或未來可能出現的所有二級站點的工作負載。在今天,這或許意味著資料保護、存檔、災難恢復、複製、資料遷移、重複資料刪除、壓縮加密、測試/開發以及複製資料管理(cdm)和分析。

儲存至少能夠支援多種混合的資料塊、檔案與物件協議,其中包括iscsi、光纖通道、nfs、smb和rest,並且能夠在同乙個儲存池中儲存所有的檔案和物件。

儲存完全基於策略。首先設定工作負載的策略,可能使用預定義的模板,然後系統管理整個資料生命週期和工作流程,包括啟動和拆卸基礎架構資源,而無需操作員參與介入。

儲存具備的服務質量(qos)控制。根據定義,許多二級應用程式要執行在基礎架構,因此系統必須能夠根據預設的策略自動分配資源,並且有適合的方案來確保其合規性。

儲存可以和主站點的儲存資源那樣同時支援物理與虛擬的工作負載。

儲存可以索引元資料與內容,具備構建定製化分析的能力,能夠支援複雜的搜尋功能,包括在檔案中搜尋資料的能力。檢索的結果通過標準的api反饋給應用程式。

儲存可以通過乙個基於web頁面的管理控制平台,經由任意可以接入網際網路的位置管理到整個二級基礎架構——並根據客戶需要設定全域性命名空間。其能夠和常見管理平台(例如vmware的vrealize automation)相整合。

儲存體系結構具備自我修復的能力,在發生故障時不需立即更換故障部件;可以應對多塊磁碟與節電的故障;不會喪失靈活性與可用性;毋須進行資料遷移;且it可以實時調整系統的彈性。

儲存可以內設資料虛擬化策略,從而確保某個資料副本可用於多項應用程式的工作負載。

儲存具備企業級安全性,包括後端的靜態資料加密,以及活動資料的訪問訪問控制。同樣,儲存可選第三方的金鑰管理器。

儲存提供以秒和分鐘測量的恢復點目標,具有瞬時恢復時間目標(不需要進行資料回算和重構)。

行業中存在著一種普遍的誤解,即hypervisor是實現超融合技術的先決條件。由於超融合技術首先使用在主站點並適用於虛擬工作負載,於是看似使用一項hypervisor虛擬機器管理程式必不可少。 但隨著行業向容器(container)技術轉移,這種先決條件將逐漸消失。 在二級站點上的情形同樣如此。

正如你所看到的,上述這些將成為一項廣泛的需求。 我相信當前我們正處於這樣乙個時刻,即所有適合的技術都可以實現這種願景。 目前市場上的數款產品已經非常接近,而其他**商在接下來的18個月內爭相達成類似的目標,而另一方面,由於當前的架構設計,有些**商或許永遠無法做到。

超融合,準備好了麼?

在電腦科學領域,一項毋庸置疑的事實是:你的體系結構在設定以後,便決定了未來可以達成,或難以(有效)實現的目標。因此,對於大多數在幾十年前便從事資料保護與資料複製產品的**商而言,他們很難支援橫向擴充套件的節點結構、虛擬化以及在過去五年出現的許多其它技術。

例如,假如某家**商是cdm領域的專家,那麼很可能他們要求受管理的資料副本必須要遷移到特定的資料庫中。資料保護則可能是(也可能不是)該產品的組成部分(換句話說,可能需要第三方資料保護應用支援),產品可能(也很可能)不支援橫向擴充套件。

各家**商所提供的分析技術水平層次不齊,其中大多數仍側重於儲存利用率與資料保護指標。當由某家**商單獨提供歸檔技術時,其很可能會形成資訊孤島。雲集成或許只是單純實現了資料傳輸功能。大多數重複資料刪除產品只是:用於減少資料副本的專屬裝置。它們與同一(或不同)**商提供的資料保護產品協同工作。橫向擴充套件只適用於有限的一些**商產品,遠非市場上所有的方案。

與此同時,某些複製產品只能執行特定的功能,從而又造成某項單一功能的封閉性。大多數產品缺乏真正的qos功能。雖然可能存在服務級別協議和基於策略的控制平台,但通常無法確定其合規性。經過設計,物件儲存提供商可以具備橫向擴充套件、單一命名空間、完全可靠安全的平台(借助糾刪碼),但往往會缺乏完整的檔案支援,並且難以支援上述所有二級站點的工作負載。

經由過去三十年的不斷發展,今天支援二級站點的產品系列遍布各個領域。其中的絕大多數只是被設計完成單一的使命,從這點上講這些產品做得不錯。但是世界正在發生改變,單靠資料保護是遠遠不夠的。我們必須重新思考和定義海量資訊、消費資料、合規性、社交**、移動應用、雲計算和大資料分析領域的保護與可用性的整理範例。

雖然從本質上去轉變二十年前架構的產品很困難,但**商們卻在努力嘗試,有時經由自己的開發團隊,更多的則是借助合作夥伴。他們如何達成目標,或者如何達成目標,我們拭目以待。

今天有兩家企業,他們的視角與本專欄所定義的最為接近。cohesity滿足了上述大多數的標準;rubrik也較為接近,只是缺失了些許關鍵部分。 cdm領域的**商,例如actifio和catalogic也有許多產品,很可能會彌補這些空缺。 ibm spectrum copy data management利用spectrum protect,並且(最有可能)將其與ibm cloud object storage緊密整合,從而提供橫向擴充套件功能。同時我們也不應該忘記,simplivity(最近被hpe所收購)以及scale computing曾公開展示在單個基礎架構中為主儲存和二級儲存應用實現超融合的願景。

在諸如亞馬遜網路服務(amazon web services)等公有雲服務商的領導下,主資料儲存端的改造業已在過去十年推動了整個行業的發展。我認為超融合技術直接來自於將公有雲的理念應用於企業自行部署的基礎設施。同時我還相信超融合技術會運用於資料中心內具有相同重要性的二級儲存。在這方面的需求量甚至會更大,畢竟儲存於二級儲存中的資料佔到了整體資料量的80%。

我們可以使得二級儲存大放光彩,利用它實現更好的業務決策;同樣,它也可能變成龐大而臃腫的資料堆疊。昨天的體系架構很難幫助我們帶到前者。二級站點需要和主站點一樣基於超融合技術。

超融合架構 主資料儲存使命之外

在主站點上實現的資料儲存與工作負載廣為人知 而與之對應二級站點則並非如此。也正因此,近年以來二級站點相比主站點,在體系結構方面發展甚緩。按照慣例,資料儲存的主站點與應用程式直接讀寫 互動資料 工作負載的主站點上則負責程式執行,但並不一定用於支援終端使用者。一級或二級應用程式 如erp crm mic...

超融合架構的本質是什麼(下) 層次儲存

可閱讀原文。本篇文章將進一步解釋在超融合架構中,層次儲存為什麼是提公升資料的 i o 效能的最好選擇。首先,讓我們追溯到現代計算機體系結構中,解決系統效能瓶頸的關鍵策略 cache。現代計算機體系結構是基於馮 諾依曼體系結構構建的,馮.諾依曼體系結構將程式指令當做資料對待,程式和資料儲存在相同的儲存...

為超融合架構選擇合適的資料中心冷卻系統

雖然超融合基礎架構會帶來很多好處,比如精簡的it管理方法,但從資料中心散熱的角度來看,它也同時帶來了一些特殊的挑戰。當把超融合基礎架構的機器安裝到機櫃上的時候,會在密集的冷卻環境中製造出高熱量密度。保持散熱通道的暢通無阻非常重要,但是要保證正常的溫度下給予機器足夠的散熱風,還要讓熱量盡量遠離這些機器...