複製資料的儲存管理是一項吸引人的技術，它能通過消除重複資料來降低企業的儲存成本。儘管有很多好處，但它也有缺點。
複製資料管理的工作原理是將多個資料副本合併為乙個主副本，並可根據需要進行虛擬化或按需使用。因此，該單一的資料副本可能會被多個部門同時使用。
例如，過去開發和測試環境分別擁有一套資料庫專用副本，用於各自的測試目的，現在所有團隊成員共享一套生產資料庫的虛擬化副本。這種方法消除了對多個資料庫副本的需要，但也意味著對主資料庫副本的i/o需求將會更高，因為更多的人在使用它。
要避免複製資料管理相關的效能瓶頸，關鍵是使用能夠應對效能需求提高的儲存硬體。通常的對策諸如使用負載均衡來平衡儲存流量，使用高頻寬的儲存連線並把資料分布在大量磁碟上。當然使用全快閃儲存器陣列或分層的儲存架構也是有用的。
考慮複製資料儲存是如何處理資料的，這一點也很重要。某些複製資料管理產品允許管理員將資料分布到多個卷上。 因此，對於需要大量iops的資料庫副本，管理員可能為它建立專用卷。
與之相反，有些複製資料管理產品則會把所有主資料副本放置到單個儲存庫中，這樣的實現通常僅適用於小型企業。
複製資料儲存管理的另乙個潛在缺點是，由於它消除了資料冗餘，因此在發生資料損壞的情況下，它可能會導致關鍵資料丟失。避免這種情況的最佳做法是使用儲存複製建立另乙個資料副本，最好放在雲端或遠端資料中心。
資料儲存管理
hive平台自啟用以來，oracle平台加工過程不斷往hive遷移，hive側表 過程 流程排程也越來越多，雖然平台支援橫向擴容，但考慮到硬體投入和資源不足問題，現急需進行hive儲存 hive側除碼表 手工表 外，基本都是 日分割槽 月分割槽表。想法 資料庫有大量冗餘的表與過程排程，消耗庫資源，應...
資料預處理也有套路的
資料探勘的核心是什麼？這個的答案是演算法應該沒什麼疑問。那資料探勘的基石又是什麼呢？那就是今天我們要來說的資料預處理。資料科學家們一直想為資料預處理賦予乙個定義。其實簡單地說，資料預處理就是一種資料探勘技術，本質就是為了將原始資料轉換為可以理解的格式或者符合我們挖掘的格式。在真實世界中，資料通常是不...
service資料儲存 儲存系統元資料管理演變公升級
作者簡介 林意群，apache hadoop pmc member，主要專注於儲存領域的開發，曾主要參與過hdfs rbf以及hadoop ozone專案開發。目前為ebay hadoop team的研發工程師。我們知道在乙個儲存系統中，不光光只有它所儲存的資料檔案重要，它的儲存系統的元資料管理同樣...