電信運營商的備份資料量通常較大，而且對資料的實時性要求較高。中國惠普****儲存產品部高階技術顧問張楠表示，電信運營商在資料備份方面主要關注以下四方面因素：第一，在最短的時間內完成資料的備份，這也是大資料備份面臨的乙個難題；第二，加快資料恢復的速度，特別是在災難事件發生後，能否及時地恢復資料對電信運營商來說非常重要；第三，解決企業分支機構資料備份和容災的問題，實現資料的集中保護和管理；第四，實現異地容災。
福建聯通在最近一次備份系統公升級中，採用hp storeonce b6200備份解決方案，消除了備份系統中的瓶頸。
大資料帶來新挑戰
隨著3g業務的高速發展，福建聯通不僅調整了營銷策略，而且其整個業務資料的儲存、備份和應用也發生了變化。比如，福建聯通以前關注使用者的話單、話費，現在則開始對使用者的上網行為進行精確分析。「這種新的業務需求對我們的資訊系統的支撐能力提出了更高的要求。」福建聯通資訊化事業部經理鄭剛舉例說，「以前，我們的儲存系統的容量大小是根據使用者數來估算的。現在，從業務的角度分析，每增加乙個應用維度，資料量就要增加20%～30%。隨著業務不斷增加，我們的業務資料量呈現**性增長的態勢。這對於我們的資料儲存和備份架構來說是乙個嚴峻的挑戰。」
鄭剛表示，hp storeonce b6200在以下幾方面很好地滿足了我們的備份需求：第一，hp storeonce b6200具有非常好的擴充套件性，可以滿足資料高速增長的需求；第二，hp storeonce b6200自帶重複資料刪除功能，不僅備份效能出色，而且具有高可用性，同時還降低了備份系統的整體擁有成本；第三，與福建聯通以前使用過的同類產品相比，hp storeonce b6200的優勢在於，能夠在複雜的san環境中更加靈活、高效地實現資料備份。
一專多能
福建聯通很早就開始進行資料大集中的工作。資料的集中對備份系統的效能、靈活性、可擴充套件性以及成本等提出了更嚴格的要求。鄭剛表示：「在公升級備份系統時，我們最關注的還是成本，其次是系統的可管理性和可擴充套件性。hp storeonce b6200在上述幾方面都擁有明顯的優勢。」
此次公升級備份系統，福建聯通用hp storeonce b6200替換了原有的虛擬磁帶庫，備份軟體也選用了hp data protector。hp storeonce b6200備份平台支撐著福建聯通的一些核心業務，主要包括crm系統、計費系統、賬務系統等，資料總量約為40tb。福建聯通每天每個小時做一次增量備份，每週進行兩次全備份。
採用hp storeonce b6200後，福建聯通備份系統的整體效能有了明顯提公升。以前備份乙個資料庫至少需要10多個小時，而現在只需要幾個小時。hp storeonce b6200在滿配（8個控制器、384塊硬碟）的情況下，其備份速度最高可以達到100tb/h。「通常情況下，使用者每天備份需要8～10個小時，而使用hp storeonce b6200，只需2～3個小時就能完成備份工作。」張楠舉例說。
鄭剛表示，與以前使用的虛擬磁帶庫相比，hp storeonce b6200不僅整體擁有成本更優，而且可以更好地滿足大資料備份的需求。「如果僅從容量或效能的角度考慮，我們也可以選擇其他廠商的裝置。但是，hp storeonce b6200不僅自帶重複資料刪除功能，而且採用多控制器架構，能夠同時支援多條資料鏈路，從而避免了備份大資料時可能出現的網路擁塞，也減少了對網路頻寬的占用。今後，如果我們的資料中心san網路要跨機房部署，而hp storeonce b6200能夠有效減少對頻寬的占用，那麼我們在部署多fabric架構時就會變得游刃有餘。」
在福建聯通，hp storeonce b6200主要被用於備份資料庫資料，而檔案備份還是採用傳統的磁帶庫方式。鄭剛說：「我們的資料庫備份都是基於虛擬的架構，而檔案還是備份到物理磁帶庫中。我們現在有3個大容量的磁帶庫。」
福建聯通此次採購的hp storeonce b6200的容量為96tb，實際已經使用的儲存空間為20tb～30tb。「現階段，hp storeonce b6200實際安裝的磁碟數量還比較少，不過已經能夠滿足我們當前的應用需求。未來，根據業務發展的需要，我們將進一步優化現有的資料保護整體架構，並對hp storeonce b6200進行擴容，相信其效能還會繼續提公升。」
重複資料刪除效果好
如今，備份技術與重複資料刪除技術已經密不可分，不僅備份軟體中增加了重複資料刪除功能，而且許多備份硬體裝置，比如虛擬磁帶庫中也內嵌了重複資料刪除功能。在資料儲存量不斷增加的情況下，重複資料刪除技術可以有效節省儲存空間，提高資料備份的效率。
福建聯通以前採用的備份軟體就包括重複資料刪除功能。但在實際應用中，鄭剛發現帶有重複資料刪除功能的軟體在效能、穩定性以及資料壓縮效率等方面仍有欠缺，而基於橫向擴充套件架構的hp storeonce b6200具有的重複資料刪除功能十分優異，穩定性也更好。
為了滿足使用者跨平台的資料保護要求，第一代重複資料刪除技術廠商會採用不同的重複資料刪除技術處理來自應用伺服器、備份伺服器以及磁碟備份裝置上的資料，由於技術不相容，很容易造成資訊孤島，而且重複資料刪除的效率低下，管理的複雜度也很高。
「第一代重複資料刪除技術多是基於單節點或單個重複資料刪除引擎儲存架構的，一旦引擎發生故障，備份或恢復作業就會停止，客戶資料就有丟失的風險」。張楠介紹說，「惠普推出的創新的第二代重複資料刪除技術——聯合重複資料刪除，基於面向未來設計的多引擎的橫向擴充套件儲存架構。以採用第二代重複資料刪除技術的hp storeonce b6200為例，它是乙個全自動的、高可用的、多引擎的解決方案，可以支援最多8個引擎，能夠隨著資料量的增加實現效能和容量的同步提公升。」
採用第二代重複資料刪除技術的hp storeonce b6200可以在任何地點進行重複資料刪除，包括應用伺服器端、備份伺服器端以及備份目標端等。惠普已將第二代重複資料刪除技術用於hp storeonce全系列的備份裝置，包括低端的2000系列、中高階的4000系列以及面向大型資料中心及關鍵業務的6000系列。
實現統一備份
福建聯通本地的主資料中心已經沒有多少空間。福建聯通正在籌畫建設新的資料中心。鄭剛表示：「基於hp storeonce b6200的備份方案上線已經半年多。整個系統的備份速度、穩定性等都能滿足我們的需求。從目前情況看，hp storeonce b6200的許多先進功能我們還沒有用到。但在專案二期進行系統擴容時，我們考慮將hp storeonce b6200用於遠端資料複製和遷移等，為企業的大資料備份和容災應用奠定基礎。從長遠來看，我們將依託hp storeonce b6200構建乙個統
一、完整的資料備份系統。」
未來，在企業的雲計算資料中心內部實現統一備份是大勢所趨。統一備份要求，企業不能再針對每個應用系統單獨建立乙個備份系統，那樣容易形成資訊孤島。鄭剛表示：「我們計畫實現統一的備份，就是將整個備份系統，包括軟體以及備份裝置本身，統一管理起來。從hp storeonce b6200具備的可擴充套件性和可管理性來看，它完全可以滿足我們對統一備份的需求。」
2023年6月，惠普對hp storeonce 備份產品家族進行了更新，hp storeonce b6200配合最新的hp catalyst軟體，其備份效能已經達到100tb/h。鄭剛表示：「目前，hp storeonce b6200執行十分穩定。未來，在備份系統擴容時，我們也許會考慮採用hp catalyst軟體。」
集合去重，高效演算法
我們最常用的兩個集合去重的方法是removeall,但是當兩個集合達到上萬之後就已經很慢了，上百萬之後，處理速度更是令人難以忍受，處理時間超過10分鐘以上，測試 如下 public class test for int i 500000 i 1500000 i system.out.println ...
Pregsql 多列間橫向去重
一 問題 選出5列中非空唯一值大於等於2的行，資料如下，目標行為第1行 二 解決 1.此問題可看做多列間的橫向去重，主要思路 1 通過array 函式將列變成陣列 再通過unnest 把array型別展開成多行 2 通過子查詢語法封裝上述資料，進行非空篩選和唯一值統計 如下 select from ...
C List去重DistinctBy擴充套件
list 去重擴充套件 public static ienumerabledistinctby this ienumerablesource,funckeyselector 比較兩個集合 public static bool comparetype t onet,t twot propertyinf...