在計算機領域,有乙個問題一直困擾大家很多年,這個問題就是io效能瓶頸問題。隨著cpu效能的不斷提公升,io和cpu之間的效能差距變得越來越大,這種差距也就是計算機領域著名的「剪刀差」問題。圍繞著這個「剪刀差」問題,提出了一系列的理論及方法:多級儲存、快取、針對磁碟的效能優化。ssd半導體儲存介質的出現,大大縮短了cpu和io之間的效能差距,使得io效能在一夜之間提公升了幾個數量級。最為典型的就是iops技術指標,從原來磁碟最多擁有200iops提公升到了80萬iops,一下子提公升了4000倍。這種效能的提公升不僅解決了原有應用io效能瓶頸的問題;更為重要的是推動了大資料應用的發展,使得原來很難完成的應用變成了事實。
以nvme ssd為代表的高速儲存技術正變得越來越普及。一年前只能從intel或者samsung拿到試用的ssd樣片;一年前從市場上幾乎很難買到支援u.2介面的伺服器。到今天很多廠商已經推出了成熟的nvme ssd產品。memblaze在國內第乙個推出了支援nvme介面的高效能ssd。在伺服器端,可以很容易的購買到支援多個u.2介面的伺服器,超微在年初發布了1u支援10盤位nvme ssd的伺服器,預計到明年初可以推出2u 24盤位的伺服器。此外,支援nvme ssd的jbof產品今年已經初具雛形,明年預計會有成熟的產品出現。nvme ssd擁有無與倫比的優勢,以memblaze推出的pblaze4產品來看,該產品無論在效能還是在容量上都令人眼前一亮,遠遠超越了傳統的磁碟介質,滿足了企業級應用需求。
pblaze4產品擁有兩種產品形態,一種是採用傳統的pcie介面方式;另一種採用u.2介面,2.5寸物理形態。這種2.5寸盤可以直接插入伺服器背板,具有熱插拔的特性。pblaze 4在效能方面達到了4k隨機讀80萬iops的效能;4k隨機寫15萬iops以上的效能。順序大塊寫將近2gb/s的頻寬;順序讀超過3gb/s頻寬。和傳統sas盤相比,效能完全超越,不具可比性。在容量方面,pblaze4全高卡達到了6.4tb的容量;2.5寸盤可以達到3.2tb的容量,可以預見在不久的將來,nvme ssd在容量方面將會全面超越傳統磁碟。
ssd的儲存介質是半導體,半導體的成本與產量直接相關,產量越多,半導體成本越低。隨著nand flash在移動終端、平板電腦、筆記本、pc、資料中心、企業儲存的大量應用,其**一定會持續下降。明年各大nand flash廠商大力推動3d tlc,3d tlc將會成為主流,nand flash成本將進一步下降,容量進一步提公升。所以,在消費市場、企業市場、網際網路大資料的共同推動下,ssd成本將不再是乙個問題。終有一天,ssd將會佔據資料中心市場,成為企業級資料儲存的主力。
和磁碟系統相比,ssd具有極高的效能,在這種高速儲存介質上面,我們該如何對其進行資料保護,如何進行儲存卷管理呢?一台伺服器內部可以支援多塊nvme ssd,多塊nvme ssd的效能如何發揮出來呢?當一塊ssd發生故障時,如何保證使用者資料不丟?這是使用者在使用nvme ssd時需要考慮的重要問題。在傳統的磁碟系統中,我們通常可以採用raid系統保證資料可靠性,通過卷管理系統對儲存資源進行管理和分配。在卷管理之上,可以部署資料庫或者檔案系統。當系統中單盤或者多盤發生故障的情況下,使用者資料也不會導致丟失。可惜的是,在高速儲存系統中,傳統raid和卷管理系統存在問題,主要原因有:
1,傳統儲存系統無法發揮高速儲存介質的效能。高速儲存ssd擁有極高的效能,效能瓶頸已經從盤端轉移到了cpu、os以及網路端。傳統儲存軟體在設計的過程中主要考慮了磁碟問題,並沒有考慮高效能儲存所面臨的新問題,因此,在nvme ssd上面部署傳統儲存軟體,高效能儲存介質的優勢將無法得到發揮。
2,傳統儲存系統沒有解決高速儲存介質的問題。任何事物都有缺陷,nvme ssd也不例外,和磁碟相比,nvme ssd具有極高的小寫效能,但是,在小寫情況下,nvme ssd內部的ftl工作在最壞情況,會引入更多的寫放大,從而導致ssd單盤使用壽命降低。另外,通過傳統raid對ssd進行資料保護時,會引起多盤同時發生故障,導致資料丟失。和傳統磁碟相比,ssd的故障模型也發生了變化,不能簡單的採用針對hdd的故障處理方式對ssd進行處理。總之,nvme ssd本身也存在一系列問題,這些問題在磁碟上是不存在的,需要儲存系統軟體對其進行處理,而這些是傳統儲存軟體所沒有考慮的。
3,傳統儲存系統會對高效能儲存介質造成傷害。如果直接採用傳統儲存軟體對nvme ssd進行處理,那麼會導致nvme ssd受到傷害。例如,在傳統raid中會存在一次資料同步的過程,該資料同步採用校驗同步或者全部資料清零的方式。該過程對於nvme ssd而言會一定程度上造成傷害。
由於nvme ssd和hdd很多方面存在差異,因此無法將傳統針對低速介質的卷管理和raid資料保護系統直接應用到nvme ssd上。為了能夠在nvme ssd上進行資料保護和提供卷管理的服務,企業需要一套完全針對高速儲存的解決方案,為此memblaze推出了flashraid。
flashraid給人的直觀感覺是乙個raid,其實他不僅僅是一套資料保護系統,而且還是一套卷管理服務系統,總之他是一套完全面向高速儲存的資料保護、卷管理系統。在軟體層次上flashraid可以簡單等價於lvm和raid。
flashraid具有極高的效能,其可以發揮多盤nvme的效能,隨著盤數的增加,整體效能也會增加;隨著cpu數量的增加,整體效能同樣可以提公升。因此,flashraid的效能和nvme ssd盤數量以及cpu數量相關。 flashraid充分考慮了ssd的特性,不僅解決了nvme ssd所存在的問題,而且還充分利用了ssd的優勢。使得整體的效能達到最佳,而且資料可靠性得以保證。和傳統的md-raid相比,flashraid在效能上遠遠超越了傳統raid。下圖是flashraid和md-raid的效能對比圖。
從這個結果可以看出,flashraid充分發揮了高效能nvme ssd的效能。在nvme ssd向企業級使用者部署的過程中,flashraid起到了為使用者資料保駕護航、擔當儲存卷管理的重任。
擦除 SSD 的資料
故障情形 有一塊ssd不能寫入資料。windows 每次往裡面寫入,看起來是寫進去了,安全退出這塊 ssd,在另一台電腦開啟,發現ssd裡面的資料沒有任何變化。使用 windows 磁碟管理,刪除分割槽後,原分割槽的空間沒有釋放,也不能建立新的分割槽。因此,我認為這塊ssd有故障,不能寫入任何資料。...
擦除 SSD 的資料
故障情形 有一塊ssd不能寫入資料。windows 每次往裡面寫入,看起來是寫進去了,安全退出這塊 ssd,在另一台電腦開啟,發現ssd裡面的資料沒有任何變化。使用 windows 磁碟管理,刪除分割槽後,原分割槽的空間沒有釋放,也不能建立新的分割槽。因此,我認為這塊ssd有故障,不能寫入任何資料。...
擦除 SSD 的資料
故障情形 有一塊ssd不能寫入資料。windows 每次往裡面寫入,看起來是寫進去了,安全退出這塊 ssd,在另一台電腦開啟,發現ssd裡面的資料沒有任何變化。使用 windows 磁碟管理,刪除分割槽後,原分割槽的空間沒有釋放,也不能建立新的分割槽。因此,我認為這塊ssd有故障,不能寫入任何資料。...