雲在腳下 三大雲儲存方案對比與選型指導

2021-06-02 02:16:21 字數 2047 閱讀 3611

業界對雲計算的定義多種多樣,不過,從公認的幾種雲計算模型看,儲存是無論如何也繞不開的基礎支撐元件,雲儲存作為雲計算服務的分支之一,更是把儲存提到了首要的位置。與此同時,能夠在底層架構中很好的解決儲存問題的**商恐怕並不多,要實現雲計算,儲存還面臨諸多瓶頸。

在一次intel組織的**訓練營上,intel(中國)****伺服器平台產品經理張振宇就曾表示:「今天談雲計算以及雲架構中的虛擬化,儲存是非常困難的問題。」

解決非結構化資料增長難題

在intel規劃的雲儲存系統中,把使用者實際的儲存需求分成了兩種型別,也就是我們所謂的結構化資料與非結構化資料。

結構化資料一般都儲存在資料庫中,通常又被叫做資料庫資料,通常企業的關鍵業務應用,如oracle、sap等應用中往往基於這種型別的資料。這型別資料可以用資料庫的二維表結構邏輯來表達與實現,每一次讀取的資料塊往往並不大,一般為4k或者8k,但是讀寫往往會非常頻繁,由於每次讀寫都會帶來硬碟磁頭換道定址的讀寫延時,因此傳統的儲存系統往往採用了大規模併發、以及大量的讀寫優化來保障結構化資料的訪問需求。

此外,擔當企業關鍵業務應用的資料儲存基石,資料安全性一定要保障,也因此,為結構化資料儲存而設計的儲存系統也往往採用大量的資料安全保護措施,保障企業關鍵業務運營資料安全。

衡量資料庫讀寫效能的iops效能指標一度成為企業儲存系統設計所追求的極致,然而隨著雲計算日益走向普及應用,社交網路興起,到如今移動網際網路與物聯網蓬勃發展,使用者突然發現,過去的結構化的資料在向非結構化與半結構化發展,大資料成為對傳統it系統的另乙個挑戰。

上圖為idc發布的2023年至2023年間資料增長趨勢**,其中,最底下的黃色資料塊代表傳統企業資料庫所產生的結構化資料增長量,年增長率僅為23.6%;黃色資料之上的紅色資料,代表企業系統中的備份以及資料倉儲等產生的備份資料,從圖中可看到,其增長趨勢並不明顯,年增長率為24.2%;紅色資料之上的灰色資料塊代表歸檔等非結構化資料的增長趨勢,在圖中可看到明顯的上公升,年增長率達到了54.8%;最上面的綠色部分增長最快,這部分資料的年增長率甚至達到了75.6%,這部分資料來自於內容倉庫,具體包括了web、電子郵件、社交網路、文件共享等應用產生的各種各樣的檔案資料。

三大雲儲存解決方案

隨著資料宇宙的**式增長,傳統為結構化資料儲存而設計的儲存系統,已經無法應付雲平台系統龐大的資料儲存需求,在此背景下,集群儲存迎來其發展高峰。

集群儲存通過併發的分布式檔案系統與演算法,工作負載分布到集群中各節點的儲存方式,各集群儲存的節點相互配合並統一作戰,因而達到了1 1>2的效果,同時集群儲存提供單一的使用介面與介面,使使用者可以方便地對所有資料進行統一使用與管理。對於集群儲存來說,單個的資料節點是其上分布式檔案系統以及管理軟體的硬體基礎,其效能與可靠性直接影響到了儲存系統平台的整體效能。

針對不同的雲儲存環境中非結構化資料的應用,intel提出了三大不同的針對應用優化的解決方案。

一、 較大的物件儲存使用模式

物件儲存一般用於內容倉庫的資料儲存,通常web、電子郵件、社交網路、文件共享系統中通常會採用物件儲存模式來儲存大量的檔案資料。這型別儲存需求對系統效能要求總體而言並不嚴格,但同樣要求一定的響應時間和反應速度。此外,考慮到系統的規模化建設,整體系統對系統能耗、成本方面都會進行一定的均衡。

針對物件儲存對節點硬體設計的需求,intel推薦採用至強e5處理器產品家族,至強e5處理器是intel針對雙路伺服器市場的重要革新,採用全新sandy bridge微架構,最多支援8個核心,在舊金山閉幕不久的intel秋季idf大會上,intel展示了採用sandy bridge微架構xeon(至強)e5處理器以及xeon e5伺服器系統的工程樣品。上圖為該系統節點推薦配置示意。

二、 備份、歸檔儲存使用模式

相比物件儲存使用模式,備份和歸檔系統對於資料響應時延的需求更加寬鬆,這型別系統中,使用者更為關注的是資料可靠性,能耗、以及單位儲存空間成本,針對這型別儲存使用模式,intel推薦了基於至強e3處理器,以及intel賽揚/酷睿 i3處理器系列的節點優化方案。

三、 大規模分析(hadoop)使用模式

hadoop通常用於海量檔案的資料分析與處理,往往要求系統有快速的反應時間和較強的處理能力,上圖為intel基於e5處理器家族推薦的節點優化架構。

國內三大雲資料庫測試對比

其實我們就沒有專門的 dba,都是開發自己上去折騰,通過把資料庫的可靠性外包給雲端,確實極大地降低了我們的工作量,這一點還是挺爽的。但是在具體的使用過程中,發現還是有些地方不夠滿意,比如 mysql 最高版只有5.6,沒法用上 5.7.8 新增的 json 字段 建立資料庫自帶的唯讀從庫門檻較高 要...

國內三大雲資料庫測試對比

其實我們就沒有專門的 dba,都是開發自己上去折騰,通過把資料庫的可靠性外包給雲端,確實極大地降低了我們的工作量,這一點還是挺爽的。但是在具體的使用過程中,發現還是有些地方不夠滿意,比如 mysql 最高版只有5.6,沒法用上 5.7.8 新增的 json 字段 建立資料庫自帶的唯讀從庫門檻較高 要...

牆內三大雲資料庫測試對比 不指定

由於實際情況下,雲資料庫一般是通過雲伺服器進行訪問的,因此我在這3個平台分別申請了配置差不多的雲主機,在上面執行效能測試。我申請的雲主機的作業系統都是64位centos 6.5,具體的配置如下 現在比較流行的測試資料庫工具是sysbench,為了和實際使用的情況吻合,我對sysbench做了引數上的...