**:
硬碟故障導致資料丟失時,raid重構的程序會占用系統的資源,導致應用系統整體效能下降,同時重構的時間漫長,會出現故障或錯誤,極大地增加資料丟失的風險。另一方面,傳統raid受限於硬碟數量,無法滿足企業對資源統一靈活調配的需求,同時資料重構時影響資料的讀寫效能,那麼怎麼來提供資料的讀寫效能呢?
作為國內為數不多的能夠在技術上跟國外儲存廠商並駕齊驅的廠商,巨集杉科技針對傳統raid的以上問題,提出了全新的craid演算法。
一.獨具匠心的craid3.0
craid技術是巨集杉科技針對傳統raid的缺陷,在傳統raid技術之上的革新。craid1.0提公升了故障硬碟的重建效率;craid2.0允許raid組中任意壞三塊盤,資料不丟失;craid3.0提公升了資料讀寫效能和減少了重建時間。
craid1.0技術,主要是將組建好的raid組分割為數千甚至上萬個小單元進行精細化管理(也即是cell),提公升了故障硬碟的重建效率,提高了系統可靠性。在此基礎上,巨集杉科技又推出了craid2.0技術,採用全新的raid演算法和三重校驗機制,可以在乙個raid組中任意壞三塊盤的情況下保證資料的不丟失,業務不中斷。
2023年,巨集杉科技又獨具匠心在craid1.0和craid2.0的基礎上,推出了最新的raid概念--craid3.0技術。將craid1.0和craid2.0一層虛擬化管理的模式變為兩層虛擬化管理模式,在具備前二種craid技術優勢的前提下,以資料塊為單元管理資料,提公升資料讀寫效能和減少重建時間。
圖1 craid 3.0
二.craid 3.0是這樣「煉成」的!
2.1 craid3.0基本原
巨集杉科技craid3.0採用底層硬碟管理和上層資源管理兩層虛擬化進行管理的模式,每個硬碟空間被劃分成乙個個小粒度的資料塊,在這些資料塊的基礎上來構建raid組,使得資料均勻地分布到儲存池的所有硬碟上,同時,以資料塊為單元來進行資源管理,大大提高了資源管理的效率。
1) 每個硬碟被切分成固定大小的資料塊(chunk,也叫ck)。儲存系統將不同硬碟的chunk(ck)按照raid演算法組成chunk group(dcg);
圖2 chunk和dcg
2)dcg被劃分為固定大小的儲存單元cell, cell是構成lun的基本單位。乙個儲存池基於指定的乙個硬碟域建立,可以從該硬碟域上動態的分配chunk(ck)資源,並按照每個儲存層的"raid策略"組成dcg向應用提供具有raid保護的儲存資源。
圖3 craid 3.0技術原理圖
3)支援raid 0、1、5、6、10等raid級別,但是必須是相同的raid建立乙個儲存池。
2.2 craid 3.0實現框架
craid 3.0的實現框架如下圖所示:
儲存系統層由同一型別硬碟組成,不同層級支援不同型別的硬碟:構成高效能層的ssd硬碟,構成效能層的sas硬碟和構成容量層的sata硬碟。
每乙個儲存層的chunk按照使用者設定的"raid策略"來組成chunk group(dcg),使用者可以為儲存池(storage pool)中的每乙個儲存層分別設定"raid策略"。
儲存系統會將chunk group(dcg)切分為更小的cell。cell作為資料遷移的最小粒度和構成lun的基本單位。
若干cell組成對外體現為主機訪問的lun。在處理使用者的讀寫請求以及進行資料遷移時,lun向儲存系統申請空間、釋放空間、遷移資料都是以cell為單位進行的。
三、看看craid 3.0優勢都有啥?
相比傳統raid技術,craid技術在資料安全、系統效能和空間利用率方面都有了明顯提高,主要體現如下幾方面:
允許任意三塊盤故障:craid技術不拘泥於傳統,採用全新的演算法和三重資料校驗機制,提供更高的資料安全機制,允許在同乙個硬碟組中任意三塊硬碟同時發生完全物理故障,資料不丟失,業務不中斷。在更換三塊新硬碟後,支援並行重建。
效能負載分攤:craid技術採用分散資料塊技術,前端主機上的邏輯卷來自於硬碟組中所有硬碟,資料的io讀寫壓力在硬碟組中實現了所有硬碟均衡分攤,不存在硬碟熱點,大幅提公升io讀寫效能。
空間利用率高:傳統的raid5/6技術僅含1/2塊校驗盤。raid1/10技術通過映象原理,可允許raid組中一半硬碟發生故障,資料不丟失,但硬碟空間利用率只有50%。craid技術採用n+1/2/3模式,使用者可自由指定校驗盤的數量,在提公升了資料安全的同時,也提高了硬碟空間利用率。
快速重建:針對小塊資料的損壞,直接利用資源池中預留的空白chunk進行快速重建。當預留的空白chunk使用完以後,仍有資料塊發生故障,系統將發生故障的cell資料直接替換到預留的空白cell單元上,瞬間完成cell的替換,保障資料不丟失。同時,基於分散資料塊技術,當硬碟組中一塊硬碟發生故障,硬碟組中所有硬碟參與併發重建,重建資料流的寫頻寬不再是效能瓶頸,重建速度進一步提公升。
區域性重建:不採用熱備盤頂替,只對原盤發生變化的部分進行重建。這適用於硬碟未損壞,但發生過閃斷或人為誤操作造成的短暫硬碟失效。比如硬碟在短時間內被拔出又插回,可只重建硬碟不在位時所變化的資料,重建時間短。這種方式,相比於傳統raid機制,極大降低raid組效能受影響程度。
優化重建:僅重建被lun使用的cell,未使用的cell不重建。重建排程時,優先重建存在介質錯誤的cell,然後再使用拷貝的方式重建其他cell,以盡可能的避免該cell所處的其它硬碟發生故障導致的cell損壞。支援多重重建,可同時重建多個故障硬碟,提高重建總體效率。
巨集杉科技擺「擂台」,遍尋天下儲存技術高手
首屆 巨集杉 杯儲存工程師技術大比武於11月11日拉開序幕,面向全國招募儲存領域的技術高手。巨集圖大志 是本屆大比武的主題,主題海報靈感源於好萊塢大片 x戰警 的概念,揭示著這次比武將凝聚全國各地身懷絕技的儲存高手,掀起一場高水平的儲存競技盛事。五湖四海皆兄弟,呼朋引伴齊鬥法 我們將與巨集杉一同見證...
巨集杉科技擺「擂台」,遍尋天下儲存技術高手
首屆 巨集杉 杯儲存工程師技術大比武於11月11日拉開序幕,面向全國招募儲存領域的技術高手。巨集圖大志 是本屆大比武的主題,主題海報靈感源於好萊塢大片 x戰警 的概念,揭示著這次比武將凝聚全國各地身懷絕技的儲存高手,掀起一場高水平的儲存競技盛事。五湖四海皆兄弟,呼朋引伴齊鬥法 我們將與巨集杉一同見證...
打破多項儲存世界記錄,巨集杉科技表示很淡定
金秋十月,收穫的季節。中國儲存圈也傳來了乙個大好訊息 巨集杉科技全快閃儲存器陣列ms7000g2 mach在spc 1測試中打破多項世界記錄 16控iops 1100萬,全球排名第一 單控iops 68.75萬,全球排名第一 最高壓力時延0.337ms,全球排名第一。在儲存圈,巨集杉科技是為數不多堅...