常規情況下，我們一般使用多幅本技術來提高儲存系統的可靠性，不論是結構化資料庫儲存(典型mysql)、文件型nosql資料庫儲存(mongodb)或者是常規的blob儲存系統(gfs、hadoop)等。
資料幾乎是企業的生命所在，那麼如何去衡量較為正確得去衡量集群資料的可靠性？如何進行系統設計使得集群資料達到更高的可靠性，這是本文要解答的疑問。
「在999塊磁碟3備份系統中，同時壞三塊盤情況下的資料丟失概率?」 ，這個跟儲存系統的設計息息相關。我們先考慮兩個極端設計下的情況
設計一：把999塊磁碟組層333塊磁碟對。
在這種設計情況下，只有選中其中乙個磁碟對才會發生資料丟失。這種設計中，丟失資料的概率為 333/c(999,3) = 5.025095326058336*e-07。
設計二：資料隨機打散到999盤中，極端情況下，隨機一塊盤上的邏輯資料的副本資料打散在在所有集群中的998塊盤中。 這種設計中，丟失資料的概率為 c(999,3)/c(999,3)=1，也就是必然存在
copyset：包含乙個資料的所有副本資料的裝置組合，比如乙份資料寫入1，2，3三塊盤，那麼就是乙個複製組。複製**系統中最大的copyset的數目為 c(n,r) ，其中r為副本數，n為磁碟的數量。在完全隨機選擇節點寫入副本資料的情況下，系統中的copyset數目會達到最大值c(n,r)。即任意選擇r個磁碟都會發生一部分資料的三個副本都在這r個盤上。
磁碟數量n，副本為r的儲存系統中，copyset數量s, n/r < s < c(n, r)複製**3.1 磁碟故障與柏松分布
在正式估算概率之前還需要科普下乙個基礎的概率學分布：柏松分布，wiki百科詳見柏松分布。柏松分布主要描述在乙個系統中隨機事件發生的概率，譬如汽車站台的候客人數的概率，某個醫院1個小時內出生n個新生兒的概率等等，更佳形象的可參見 阮一峰的《泊松分布和指數分布：10分鐘教程》)。
如上為泊松分布的公式。等號的左邊，p 表示概率，n表示某種函式關係，t 表示時間，n 表示數量，λ 表示事件的頻率。
舉個栗子：1000塊磁碟在1年內出現10塊概率為p(n(365) = 10)[注：t的平均單位為天]。λ 為1000塊磁碟1天內發生故障磁碟的數量，按照google的統計，年故障率在8%，那麼 λ = 1000*8%/365 。
如上只是損壞n塊磁碟的概率統計，那麼怎麼利用這個資訊計算分布式系統中資料的可靠性(即資料丟失概率)的近似估算。
3.2 分布式儲存系統中的丟失率估算
3.2.1 t時間內故障率
分布式儲存儲存系統中如何進行年故障率估算，我們先假定一種情況，t(1年時間內)，系統存滿資料的情況下，壞盤不處理。這種情況下統計下資料的年故障率。
這裡我們先定義一些資料
n:磁碟數量
t：統計時間
k：壞盤數量 s: 系統中copyset數量(複製組的個數)
r：備份數量複製**
k個損壞情況下(隨機選擇k個盤情況下)命中複製組的概率為
p = x/c(n,k) 其中x為隨機選擇k個磁碟過程中命中複製組的組合數。複製**pa(t,k) = p * p(n(t)=k)複製**pb(t) = σ pa(t,k) ; k∈[r,n]複製**以上我們假設在一年中，不對任何硬體故障做恢復措施，那麼t用一年代入即可算出此種系統狀態下的年故障率。但是在大規模儲存系統中，資料丟失情況下往往會啟動恢復程式，恢復完了之後理論上又是從初始狀態的隨機事件，加入這個因素之後計算可靠性會變得比較複雜。
理論上大規模儲存系統中壞盤、恢復是極其複雜的連續事件，這裡我們把這個概率模型簡化為不同個單位時間t內的離散事件進行統計計算。只要兩個t之間連續事件的發生概率極小，並且t時間內絕大部份壞盤情況能夠恢復在t時間內恢復，那麼下個時間t能就是重新從新的狀態開始，則這種估算能夠保證近似正確性。t的單位定義為小時（即），那麼1年可以劃分為365/24/t個時間段，那麼系統的年故障率可以理解為100%減去所有單位t時間內都不發生故障的概率。
即系統整體丟失資料的概率為:
pc = 1 - (1-pb(t))**(365*24/t)複製**google』s disk failure experience
柏松分布
泊松分布和指數分布：10分鐘教程
概率論，二項分布和poisson分布
磁碟故障與儲存系統的年失效率估算
雲硬碟是網易雲提供的資料持久化服務，為雲伺服器和容器服務提供彈性塊儲存裝置。
網易雲免費體驗館，0成本體驗20+款雲產品！
分布式儲存系統可靠性系列一 如何估算
常規情況下，我們一般使用多幅本技術來提高儲存系統的可靠性，不論是結構化資料庫儲存 典型mysql 文件型nosql資料庫儲存 mongodb 或者是常規的blob儲存系統 gfs hadoop 等。資料幾乎是企業的生命所在，那麼如何去衡量較為正確得去衡量集群資料的可靠性？如何進行系統設計使得集群資料...
分布式儲存系統可靠性如何估算？
本文由網易雲 發布常規情況下，我們一般使用多副本技術來提高儲存系統的可靠性，無論是結構化資料庫儲存 如典型的 mysql 文件型 nosql 資料庫儲存 mongodb 或者是常規的 blob 儲存系統 gfs hadoop 等，無不如此。因為資料幾乎可以稱得上是企業生命力的核心，保障資料儲存系統的...
分布式儲存系統可靠性如何估算？
本文由 網易雲 發布。常規情況下，我們一般使用多副本技術來提高儲存系統的可靠性，無論是結構化資料庫儲存 如典型的 mysql 文件型 nosql 資料庫儲存 mongodb 或者是常規的 blob 儲存系統 gfs hadoop 等，無不如此。因為資料幾乎可以稱得上是企業生命力的核心，保障資料儲存系...