知名分析機構idc的報告**，到2023年非結構化儲存資料量將達到410eb，相比2023年增長4倍，而物件儲存佔檔案儲存總容量的70%以上。報告顯示，2015-2023年物件儲存市場營收的年均復合增長率將達到8.7%。非結構化資料量的暴增及物件儲存時代的到來，讓企業使用者越來越意識到物件儲存技術的重要性，基於物件儲存領域多年的實踐經驗，今天有幸和大家分享我的一些積累和見解。
圖：杉巖資料cto 邱尚高
傳統nas儲存制約業務的發展
如今，這些傳統企業的it部門正在經歷著網際網路公司曾經遭遇的nas無法解決的儲存難題，主要體現在如下方面：nas儲存採用古老的檔案系統技術，單個檔案系統容量受限，超過容量後對it運維將帶來巨大挑戰;nas儲存的目錄檔案系統採用b+樹進行檔案索引，當檔案數量過多時，會嚴重影響訪問效能;nas裝置過維保後，由於非結構化資料規模較大，在更換時需要花費大量時間，且資料遷移存在風險等等。
那麼，相對於傳統nas檔案儲存而言，物件儲存到底可以帶來哪些顛覆性的技術優勢，接下來和大家做一些簡單分享。
物件儲存將成為企業儲存的新標準
分布式去中心架構，容量和效能擴充套件方便
物件儲存普遍採用的是基於通用x86伺服器+分布式物件儲存軟體的技術架構，物件儲存軟體將多台伺服器通過乙太網連線，構建成乙個統一的儲存資源池，可動態增加或刪除伺服器實現容量的調整，資料能夠自動均衡，並且利用副本和糾刪機制(類似於raid5/6)實現資料的高可靠和高可用性。
傳統nas過維保後，需要將過保裝置上的資料人工遷移到新購置的nas上，檔案數量較多的使用者需要花1到2個月時間，運維人力消耗非常大。而採用如下圖所示的分布式架構，可以動態移除舊裝置，無需人工干預，業務也不受影響。
創新的索引技術，真正解決海量小檔案問題
海量小檔案的儲存是工業界和學術界公認的難題，解決問題較為關鍵的技術點就是優化元資料管理，由於傳統nas採用b+樹進行檔案檢索，當檔案數量比較少的時候，b+樹基本可以被快取，效能還是不錯的。但隨著檔案數量的增多，b+樹占用空間非常大無法被快取時，就會涉及到機械盤操作導致效能明顯下降，如果層級較深，僅僅索引訪問就會產生多次磁碟隨機訪問操作，嚴重影響檔案的訪問效能。
而物件儲存普遍採用了分布式雜湊查詢演算法(dht)，技術原理：在建立集群時，物件儲存將整個儲存空間劃分成乙個雜湊環，每個磁碟負責雜湊環中部分雜湊分割槽的儲存。當需要訪問乙個檔案時，系統通過「目錄/桶名+檔名」的雜湊計算後，查詢dht表即可定位到具體磁碟進行檔案訪問。由於雜湊環並不隨檔案數量的增加而增多，所以查詢效能不會受到檔案數量的影響。
超大容量單目錄，滿足業務生命週期儲存需求
傳統nas儲存採用檔案系統技術，單個檔案系統容量普遍在幾十tb級。由於it管理人員在業務上線前無法對規範容量和目錄需求做出精準評估，對於某些產生資料量較大的業務系統來說，需要掛載多個檔案系統目錄，這會帶來很多非增值的運維工作。
而物件儲存採用扁平化的檔名唯一定位方式，單個目錄或者儲存空間能達到數十pb甚至數百pb級，可以滿足業務系統整個生命週期的儲存容量需求，無需掛載目錄和調整業務系統，讓it人員更加關注業務價值本身。
更加適用於多資料中心容災場景
高效的業務系統容災方案是企業it部門最為關注的焦點之一。物件儲存在介面方面的技術改良，使其在多資料中心容災方面支援得更加完善，大部分物件儲存廠商都支援兩個及以上的多資料中心容災。傳統nas往往是主備模式的容災，而物件儲存普遍支援active-active模式的容災，可實現本地資料中心應用的就近訪問。這對於採用負載均衡模式資料中心的企業來說，是非常有價值的，可以提公升每個資料中心業務系統的訪問效能。
實現私有雲和公有雲間的資料流通
隨著企業網際網路業務的發展，越來越多的應用執行在智慧型終端和公有雲平台上，而考慮到安全性和保密性，資料依然儲存在企業內部。傳統nas的cifs/nfs協議只能被企業內網訪問，無法直接提供給外部網路。物件儲存最早被應用在網際網路和公有雲場景，所以物件儲存的訪問協議(s3、swift)都是基於http標準協議，可支援內網和外網應用系統對儲存的自由訪問。
在安全性方面，資料採用aes進行加密傳輸，支援https保證傳輸鏈路安全。s3協議還定義了完整的多租戶訪問、檔案粒度的授權訪問等多種安全技術，保證了資料開放給外網訪問的安全性。
關於應用物件儲存技術的一些建議
匹配物件儲存典型的應用場景
1)檔案數量特別多，訪問效能受到影響的場景。例如：銀行的影像資料、保險的電子保單、快遞的電子快遞單等等，物件儲存可以保證在這種場景下的訪問效能。
2)資料儲存量特別大，需要長期儲存的場景。例如：金融行業的雙錄、醫療行業的影像資料、提供客服中心服務的語音資料等等，利用物件儲存的彈性擴充套件能力以及超大容量目錄，保證業務系統整個生命週期不需要做任何變更。
4)多資料中心共享場景，例如：跨地域的檔案共享、總部與分支機構檔案的共享與歸集等應用場景。
重視廠商的技術服務能力
雖然aws s3協議已成為物件儲存的事實標準，其資料訪問介面相對傳統檔案系統訪問介面更加簡單。但由於s3介面相比nas提供更加豐富的功能，包括：許可權管理、租戶管理、標籤、外鏈、配額、多版本、生命週期、多資料中心策略等上百個api介面，如何充分利用好這些介面，幫助業務系統提高資料安全性、優化業務效能、優化儲存管理、優化多資料中心訪問方式和儲存策略等方面，可能需要有物件儲存部署經驗的廠商來協助。
【關於杉巖資料】企業級軟體定義儲存(sds)方案和服務提供商，「+儲存」理念的倡導者和踐行者，由來自世界500強企業的專業儲存團隊為技術班底組成。幫助企業級使用者輕鬆應對it向雲遷移的儲存挑戰，為大資料時代的商業決策提供智慧型儲存。
杉巖海量物件儲存系統完美替代Documentum
自2006年至今十餘年來，金融行業內容管理系統通常採用documentum db nas的整體解決方案，如下圖1所示，documentum結合db的索引能力和nas的儲存能力，向上為影像平台等業務提供文件資料的儲存和檢索讀取服務。近年來隨著非結構化資料的爆發性增長，由於documentum系統架構問...
杉巖 物件儲存有什麼用？優勢是什麼？
1 資料動靜分離，大幅提公升網頁效能 一般情況下，我們都是建議使用主機伺服器和物件儲存分工合作的方式來儲存 資料。主機伺服器主要負責儲存 的動態資料，物件儲存則用來儲存 的靜態檔案。從而實現 的動靜分離，當使用者訪問乙個 時，分別從主機伺服器和物件儲存的伺服器同步讀取資料，可以大幅的提公升網頁效能。...
杉巖物件儲存MOS雙引擎，加速智慧型應用的助推器
大資料分析手段的廣泛應用，助推資料快速增長，儲存形態相繼經歷了從傳統儲存到大資料儲存1.0再到大資料儲存2.0的變遷，以應對海量資料的挑戰。1.0時代解決了海量儲存的問題，通過分布式架構和軟體定義，讓資料能夠存得下。2.0時代解決了便捷管理的問題，通過多協議訪問 生命週期管理 異構儲存管理 混合雲管...