隨著大資料、雲計算、物聯網等新技術的發展，電信、網際網路、政企等行業應用日新月異，資料呈**式增長並成為戰略性資源。據思科vni**，全球資料量每年約30%的速度遞增，2023年達到驚人的40zb。
傳統儲存面臨的挑戰
面對海量資料，傳統儲存面臨諸多挑戰，主要體現在以下方面。
成本高：傳統儲存硬體使用專有裝置，通用性差，裝置投資加上後期維護、公升級擴容的成本非常高。
效能低：單節點i/o效能瓶頸無法逾越，容量和效能都不易擴充套件，難以支撐海量資料的高併發低時延場景。
可擴充套件性差：無法實現快速部署和彈性擴充套件。
此外，資訊保安問題觸及到國家和企業的安全命脈，資訊保安已經上公升為國家戰略，it系統核心技術自主研發的需求十分迫切。
中興海量雲儲存平台及其優勢
針對傳統儲存和業界現有儲存技術的短板，依託中興通訊30多年的技術積累，我們研製了分布式海量雲儲存平台zxdfs，滿足大資料時代的資料儲存需求和業務發展需要。總體架構如圖1所示，在架構上分為三個層次：硬體節點層、服務端和客戶端，其中，服務端和客戶端屬於軟體平台層。
圖1 海量雲儲存平台架構圖
中興zxdfs在架構、功能和效能等方面進行了大量創新，形成了獨特的優勢。
去中心化設計，大容量高可靠架構
元資料是分布式檔案系統的核心，可靠性和一致性是基本要求，效能和容量是核心的競爭力。業界大部分分布式檔案系統都要配置單獨的元資料伺服器，這樣就造成了元資料的瓶頸和可支援檔案數量的限制。如圖2所示，zxdfs採用全active的share nothing方式去中心化設計，元資料和資料分布在各個節點，每個節點都是元資料伺服器同時也是資料伺服器。訪問檔案資料時首先通過一致性hash演算法找到檔案所歸屬的元資料伺服器，然後通過元資料伺服器獲取檔案的資料分布情況，再去訪問資料塊所在的節點完成資料操作。
這樣，zxdfs就提供了靈活強大的擴充套件能力，單域可支援256個節點，單節點可支援100億檔案。同時有效地消除了元資料訪問熱點，避免了系統資源爭用。
在出現節點故障時，系統能夠自動識別故障節點，自動恢復故障節點涉及的資料和元資料，使得單節點的故障不會影響到系統整體的對外服務，完全不影響業務的連續性。
圖2 高可靠高擴充套件的元資料架構
雲儲存作為後端的資料集中儲存平台，必須具備動態伸縮的能力，這樣才能滿足前端應用系統不斷擴充套件對儲存伸縮的需求。zxdfs採用分域架構實現磁碟/節點/域三個層級的容量和效能的橫向（scale-out）線性擴充套件，克服單個節點元資料及資料服務造成的訪問熱點、效能瓶頸以及擴充套件性受限問題，提公升系統整體io併發效能。
採用全域性統一命名空間保證每個儲存服務節點具有相同的資料儲存能力和系統管理能力，提供海量大併發的讀寫服務能力。zxdfs的動態擴充套件能力體現在效能上的動態擴充套件和儲存空間上的動態擴充套件兩方面，並且這種動態擴充套件不影響前端應用系統的正常執行，也不增加整個儲存雲在管理、監控和使用上的複雜性。
高效能，高效資料冗餘技術
zxdfs可根據使用者業務需求，自定義熱點識別和熱點遷移策略，實現冷、熱資料在多級儲存池之間的雙向自動遷移。採用創新的分級收益演算法，定期統計檔案的訪問收益，通過檔案大小、檔案平均訪問間隔、檔案訪問次數以及檔案訪問位元組數，計算出公升級成本和收益的比值，對比值小於公升級閾值的檔案加入到公升級佇列中並進行排序。
遷移週期內，根據檔案的歷史訪問收益以及當前訪問收益計算檔案分級收益，實現資料自動分級遷移。通過配置分級收益演算法係數 和收益週期t，使得分級儲存或快取系統的一級儲存池命中率保持在80%以上，一級儲存池利用率保持在70%以下，內部資料遷移流量與外部資料讀寫流量比例不超過20%。
zxdfs雲儲存平台支援副本和ec兩種資料冗餘方式。副本模式下，分布式海量雲儲存平台以一定大小對檔案進行切分並將切分的檔案塊以多個完全副本方式跨磁碟、跨節點儲存。ec模式支援n+m<=16範圍內任意的ec比例配置，支援磁碟和儲存節點兩個不同層次的ec編譯碼冗餘顆粒度。兩種冗餘方式可根據不同應用場景下對儲存可靠性、效能和成本的需要進行靈活配置。
創新的海量小檔案儲存優化技術
zxdfs採用在元資料層聚合、資料儲存層聚合技術，成功攻克海量小檔案模型（losf）下儲存空間利用率低及訪問效能低下的痛點。典型的檔案大小和分布模型下，應用本創新後iops效能比原來提公升了4倍，資料儲存空間利用率提公升近2倍。
根據區域性相關性原理，將業務上處在同一路徑下的多個的邏輯檔案進行聚合，減少檔案控制代碼的占用，降低了磁碟的碎片化且提公升空間利用率；同時針對海量小檔案模型（losf）的資料和元資料採用創新的讀寫快取優化技術，將原來產生大量耗時的檔案開啟、磁碟隨機io、元資料讀取與載入等操作轉換為對快取中聚合後的檔案資料和元資料的偏移操作，大幅提公升了小檔案訪問效率以及磁碟空間利用率。
快速部署，維護便捷
支援一鍵式自動化批量安裝、公升級和巡檢，大大縮短安裝、公升級、巡檢週期，提公升系統可維護性。支援磁碟故障資料自動快速重構恢復，不需人工干預，只需定期更換壞盤，大大降低磁碟維護工作量。
應用實踐
總結中興分布式海量雲儲存平台使用通用x86架構硬體，具有大容量、高效能、高擴充套件性和易管理等方面的突出優勢，為大資料時代的社會、經濟、生活提供基礎技術平台支撐，實現了無所不在的資料儲存服務。
分布式儲存技術
分布式儲存技術 分布式儲存概念 與目前常見的集中式儲存技術不同，分布式儲存技術並不是將資料儲存在某個或多個特定的節點上，而是通過網路使用企業中的每台機器上的磁碟空間，並將這些分散的儲存資源構成乙個虛擬的儲存裝置，資料分散的儲存在企業的各個角落。結構化資料的儲存及應用所謂結構化資料是一種使用者定義的資...
FastDFS海量資料分布式儲存方案
fastdfs是乙個開源的輕量級 分布式檔案系統 它對檔案 進行管理，功能 fastdfs官方論壇 研究了幾天 餘慶大神開發的分布式儲存fastdfs後來個總結方案 方案詳細講解 tracker1,centos6.3 x64 192.168.0.10 tracker2,centos6.3 x64 1...
雲計算DHT分布式儲存
因為dht包含多種儲存模式，因為學習需要，這裡暫時只講解chord，這個也是相對比較簡單的 首先使用的hash格式資料 key是關鍵字，用來作為尋找節點，即通過k hash key 然後查詢k來找出儲存節點資訊表 value是包含了資料儲存的具體節點資訊，例如ip等 接下來是看是如何查詢的 1 有以...