文章講的是大資料系列之大資料分析如何權衡儲存，
系列1：未來24個月市場趨勢和it投入重點
系列2：大資料分析對it資源的需求
在之前的系列1和2中，我們已就大資料分析的發展趨勢以及對it資源的需求進行了解析。接下來，針對大資料分析的重要一環—儲存，中橋將結合市場熱門的儲存技術如快閃儲存器、固態盤等，來從儲存效能、資料保護等角度進行分析。
通過前文的相關資料分析，我們已經了解到，隨著大資料時代應用數量、應用資料量和使用者數量的增長，系統對儲存iops以及oltp和olap的要求越來越高。傳統儲存也越來越無法滿足業務關鍵應用的效能需求，這驅動了中國企業未來24個月新儲存的部署。而固態盤、快閃儲存器技術作為新型儲存，已經得到越來越多的企業的青睞。中橋的調查資料也驗證了這一點。企業採用固態盤或快閃儲存器技術的主要原因排列如下：提高桌面虛擬化的效能、提高olap效能需求、滿足業務關鍵應用效能和低延遲要求、提高虛機密度應用效能等。而桌面虛擬化、olap高要求、業務關鍵應用、低延遲以及高虛擬機器密度也正是大資料時代的典型特點。
▲圖1. 選擇固態盤或快閃儲存器技術的主要原因
那麼對於中國企業而言，所選擇的新型儲存技術應該以什麼樣的指標來權衡，才能確保整個大資料分析流程平穩、高效執行?中橋對企業的調查結果顯示(圖2)，儲存高可擴充套件性、高可用性和並行處理能力是企業評估大資料儲存最重要的三個因素。高可擴充套件性可以確保企業的it能夠隨著資料量的增長和效能需求進行擴充套件，以滿足海量資料的儲存和處理需求;高可用性則能夠保證大資料分析過程的平穩、無間斷執行，確保了業務連續性;高並行處理能力則能夠確保在大資料處理過程中同時進行更多資料的處理，高效地完成資料分析，從而將分析結果轉化為業務決策，加快產品或技術的面市週期。此外，低延遲、自動分層儲存以及10gbe支援等也是使用者評估大資料儲存的重要考核因素。
▲圖2 . 評估資料分析儲存技術的重要指標
我們再換乙個角度來繼續解讀一下儲存。眾所周知，不同型別的資料，其生命週期也是不同的，而根據資料型別和生命週期來進行儲存資源分配，則能夠有效提高儲存利用率，這對於大資料的儲存開支非常關鍵。此外，資料的有效管理也決定著生產應用的效能。中橋調查結果顯示(圖3)，大量中國使用者所採用的資料庫面臨著效能壓力(84.4%)，且沒能有效地進行資料的歸檔和清理，其中，24.6%的受訪企業甚至不進行資料歸檔和清理，還有高達34.9%的受訪企業採取手動方式來進行資料歸檔和清理。將非活躍資料從主儲存資源上清理出來，並根據資料型別和生命週期進行分層儲存和歸檔，盡可能提高儲存利用率的同時，還能夠確保生產應用效能的穩定性，為資料分析提供所需的效能，有效降低主儲存開支，延緩儲存採購週期。
▲圖3. 資料的歸檔和清理
在大資料時代，海量資料給企業帶來的不僅僅是系統效能和儲存難題，資料保護也是企業的一大焦點。中橋調研結果顯示(圖4)，使用者就面臨的資料保護挑戰排列如下：「資料備份影響業務效能」(25.1%)、「資料保護網路頻寬需求大」(20.7%)、「分級儲存讀寫效能不能滿足要求」(19.3%)。這表明，在大資料時代，海量資料的備份和保護以及分級儲存，將對業務效能帶來很大影響，包括對網路頻寬的影響。這也從側面再一次表明資料的分級儲存對企業的重要性。
▲圖4大資料資料保護的最大挑戰
資料是大資料時代通過it創造價值的「種子」。在大資料分析的四個重要環節中——資料採集和儲存、資料清理和整合、資料分析、分析呈現——滿足大資料演進過程中對容量、效能和業務連續性的需求，提公升資源利用率降低儲存開支，不僅能保護好大資料這個「種子」，也是選擇大資料儲存的重要考慮因素。
大資料之大資料時代
下面，開啟第一講 大資料之大資料時代 講大資料一定脫離不開乙個大的背景。下面先從大資料背景講起。縱觀整個it發展史，也不過短短幾十年，在這幾十年裡，我們這個資訊化社會經歷了三次大的資訊化浪潮。第一次浪潮是在上個世紀90年代前，1980年前後，pc機進入市場，ibm公司制定了全球的pc標準，即一台電腦...
大資料簡介與大資料分析
大資料 是乙個體量特別大，資料類別特別大的資料集，並且這樣的資料集無法用傳統資料庫工具對其內容進行抓取 管理和處理。大資料 首先是指資料體量 volumes 大，指代大型資料集，一般在10tb?規模左右，但在實際應用中，很多企業使用者把多個資料集放在一起，已經形成了pb級的資料量 其次是指資料類別 ...
大資料之大資料技術架構
上期我們說到大資料的概念，其實，大資料比我們想象中的還要複雜，本期，我們主要從技術的角度介紹一下大資料的知識。大資料技術是一系列技術的總稱，它是集合了資料採集與傳輸 資料儲存 資料處理與分析 資料探勘 資料視覺化等技術，是乙個龐大而複雜的技術體系。根據大資料從 到應用，實現傳輸的流程，可以將大資料技...