海量資料的處理方案

關鍵字: 企業海量資料儲存難題如何解決企業海量資料儲存難題如何解決

web2.0的廣泛應用及社交網路的繁榮使得企業資料面臨空前的海量管理難題。ibm發現，到2023年，每個消費個人的「資訊足跡」將從目前的每年 1tb增長到2023年的超過16tb。這使得企業資訊架構不得不全力適應這一新的變化，然而現實是老舊的資料中心早已難以應對與日俱增的資訊管理需求。該怎麼辦呢?此時業界出現了兩種聲音：一種提倡企業資訊架構往「合」的方向進行，如採用重複資料刪除技術等;另一種聲音主張往「分」的方向進行，如利用分布式架構的優點進行管理等等。

企業資訊架構到底是「合」有利還是「分」更有理?業界仁者見仁，智者見智，說法不一。作為it經理，在構建可滿足未來資訊增長需求的資訊架構的過程中，不僅要充分考慮企業現有的it環境，同時亦需兼顧企業儲存現狀。甚至可以說，儲存技術作為企業資料中心最重要的基石，它在未來的發展很大程度上直接影響著企業資訊架構「分」「合」的方向。2023年的諾貝爾物理學獎頒給了對硬碟密度的提高做出巨大貢獻的巨磁阻效應的發現者，表明儲存已在當今人類社會中具有舉足輕重的地位。

發展難題

目前企業儲存面臨幾個問題，一是儲存資料的成本在不斷地增加，如何削減開支節約成本以保證高可用性;二是資料儲存容量**性增長且難以預估; 三是越來越複雜的環境使得儲存的資料無法管理。企業資訊架構如何適應現狀去提供乙個較為理想的解決方案，目前業界有幾個發展方向。

儲存虛擬化

對於儲存面臨的難題，業界採用的解決手段之一就是儲存虛擬化。虛擬儲存的概念實際上在早期的計算機虛擬儲存器中就已經很好地得以體現，常說的網路儲存虛擬化只不過是在更大規模範圍內體現儲存虛擬化的思想。該技術通過聚合多個儲存裝置的空間，靈活部署儲存空間的分配，從而實現現有儲存空間高利用率，避免了不必要的裝置開支。

儲存虛擬化的好處顯而易見，可實現儲存系統的整合，提高儲存空間的利用率，簡化系統的管理，保護原有投資等。越來越多的廠商正積極投身於儲存虛擬化領域，比如資料複製、自動精簡配置等技術也用到了虛擬化技術。虛擬化並不是乙個單獨的產品，而是儲存系統的一項基本功能。它對於整合異構儲存環境、降低系統整體擁有成本是十分有效的。

在儲存系統的各個層面和不同應用領域都廣泛使用虛擬化這個概念。考慮整個儲存層次大體分為應用、檔案和塊裝置三個層次，相應的虛擬化技術也大致可以按這三個層次分類。目前大部分裝置提供商和服務提供商都在自己的產品中包含儲存虛擬化技術，使得使用者能夠方便地使用。

簡單來說，虛擬化儲存技術以有限的儲存資源，滿足無限的資料管理需求，打破了千篇一律的資料儲存格局，開創了更加靈活的應用空間。儲存虛擬化技術對資訊架構的影響是會促使資訊架構走向「合」的方向，是儲存難題的一種解決手段。但虛擬化並非完美解決方案，目前在保護使用者隱私方面還令人感到一些擔憂，對於很多企業來說，技術是乙個很高的門檻。這些問題可能都會導致虛擬化在實際推行中遇到一些障礙。

容量擴充套件

目前而言，在發展趨勢上，儲存管理的重點已經從對儲存資源的管理轉變到對資料資源的管理。隨著儲存系統規模的不斷擴大，資料如何在儲存系統中進行時空分布成為保證資料的訪問效能、安全性和經濟性的重要問題。面對資訊海量增長對儲存擴容的需求，目前主流廠商均提出了各自的解決方案。

比如ibm將硬體壓縮技術融入虛擬磁帶庫，比如分層儲存技術，將價值最大的資料儲存在等級最高的儲存資源上，以保證最高的效能、可用性和安全性; 而對不重要的資料，就放在代價最小的儲存資源上; 對毫無價值的資料，就進行刪除，以留出更多的儲存空間。這樣就可減輕主存的容量壓力，提高響應速度等。

再比如基於重複資料刪除技術基礎的物件儲存方式，能夠很好地幫助企業進行儲存「**」。儲存物件通過擴充套件屬性的方式對於所保護的資料提供更多的描述，儲存系統針對相應屬性進行合理的優化和管理，極大地提高了資料的訪問效能和管理效率。特別是在大規模儲存系統中，更加「智慧型」的資料結合智慧型儲存裝置、對於充分發揮各種部件的效率、提公升海量資料管理能力、改進訪問過程的效能提供更多的安全性、可用性保障。

再比如對現存關鍵資料進行遠端備份的ip san(以iscsi技術搭建的)，專門解決主機系統對磁碟的塊級儲存資料呼叫。ip san最顯著的特點就是**低廉以及無限長度擴充套件的先天優勢。對於ip san的管理也可以隨之變得更加靈活，因為使用的是相同的網路連線裝置，管理也將變得更加簡單。目前越來越多的廠商已經加入到推廣ip san的隊伍中。

由於儲存現狀比較複雜，儲存技術的發展業界還沒有形成統一的認識，因此在應對儲存容量增長的問題上，尚存在很大的提公升空間。技術是發展的，數據的世界也是在不斷變化的過程中走向完美。企業資訊架構的「分」與「合」的情況並不絕對。目前、出現了許多的融合技術，如nas與san的融合，統一儲存網等等。這些都將對企業資訊架構產生不同的影響。至於到底採用哪種技術更合適，取決於企業自身對資料的需求

海量資料的處理方案

海量資料的處理方案

海量資料的處理

海量資料讀取方案

相關推薦