大資料考驗整合能力
大資料在帶來新的商機和使用者的同時,也帶來了諸多挑戰。
大資料儲存主要考驗的是技術整合能力和資源整合能力。
大資料是一項持久的工程,也是乙個不斷迭代的過程,不能一蹴而就。
業務集中在雲計算、大資料和業務連續性方面的柏科資料總經理林柏喬給記者舉了乙個例子,某客戶需要做大量的日誌分析,每天可以產生40tb的新資料,因此每天需要增加一至兩台儲存。越來越多的客戶需要用大資料工具去分析其業務,以投入更加精準的資源去開發更具針對性的功能和新的應用。
「美國20%的企業已經不同程度地使用大資料工具來提高投資回報率。中國的500強公司也開始積極關注並制定自己的大資料計畫。不久的將來,大資料應用在中國會越來越多。」林柏喬表示。
儲存架構不變不行
隨著大資料時代的到來,使用者對儲存最迫切的需求就是更好的擴充套件性。儲存系統的擴充套件一定要簡便,可以通過增加模組或磁碟櫃來增加容量,而且在公升級過程中最好不要停機。隨著資料量的持續增長和資料**的多樣化,傳統的儲存系統已經無法滿足大資料應用的需要。儲存廠商已經意識到這一點,並開始修改基於塊和檔案的儲存系統的架構,以適應新的要求。
北京榮之聯科技股份****基礎架構部經理李明壯認為,大資料儲存應該具備出色的擴充套件能力、可管理性、高可用、高效能和分布式架構等五大基本特徵。「為降低成本,企業必須採用乙個能夠長期發展的資料儲存平台,不僅需要購買行業標準的伺服器和儲存產品,同時還要保證產品的擴充套件能力和效能。儲存系統需要持續滿足企業需求,並可通過靈活的擴充套件來保證資料處理對高效能的需求。」李明壯解釋說,「傳統的網路儲存系統採用集中式的儲存伺服器來存放資料,儲存伺服器存在效能瓶頸,不能滿足大資料儲存的需要。而分布式儲存系統採用可擴充套件的系統架構,能夠利用多台儲存伺服器實現資料的負載均衡訪問,提高了系統可靠性、可用性和訪問效率,且易於擴充套件。」
「面對大資料,很多使用者希望能充分利用原有的儲存。因此,儲存整合是乙個不小的障礙。」李明壯表示,「我們要為客戶考慮,如何更好地節約成本,使傳統儲存能夠在新的大資料平台中發揮最大效用。」
華勝天成集團市場總監唐北雁認為,使用者除了要面對大資料的去冗降噪技術、高效率低成本的大資料儲存、大資料的融合等技術方面的挑戰以外,在大資料的落地模式、實時資料分析與實時業務響應方面也面臨諸多難題。
先裡後外效率高
林柏喬認為,大資料儲存技術會發生顛覆性的改變,如果乙個廠家只關注基於控制器的儲存,那麼其在大資料方面很難有用武之地。無論在美國還是中國,真正使用大資料的客戶沒有採用傳統磁碟陣列的。「乙個大資料解決方案如果想吸引使用者,就應該提供比hadoop的hdfs更加高效的檔案系統。」林柏喬認為,「使用者需要的是乙個高效的綜合了計算、網路和儲存的解決方案,而不是單純的儲存。」
大資料應用的前提是必須有明確的業務需求。換句話說,就是用商業思維來推動大資料,只有這樣,大資料的價值才能得到充分展現。
唐北雁建議使用者可從以下幾方面入手開展大資料應用。
第一,做好企業非結構化資料的「數位化」,將處於半休眠和休眠狀態的非結構化資料啟用,進行統一管控。
第二,先做好企業內部資料的整合,將通過企業it規劃、主資料管理、業務系統和其他渠道收集來的資料進行整合和標準化,然後再利用大資料分析技術解讀這些資料,為企業提供有價值的資料分析。
據北京榮之聯科技股份****產品預研部產品經理甘國華的觀察,中國使用者更傾向於選擇開放式的儲存來搭建大資料平台。開放式的儲存採用分布式儲存架構,資料分散在各儲存節點上。「作為整合商,我們能夠為使用者提供分布式儲存,並在此基礎上提供包括檢索、分析和視覺化工具在內的一整套大資料解決方案。」甘國華表示。
大資料需要的是乙個高效的儲存平台。華為認為,構建這一平台的基礎是全融合技術架構,它融合了儲存、分析和歸檔功能,可以實現資料全生命週期的管理,提高大資料的應用效率。
產品、規化都重要
大資料既給系統整合商帶來了挑戰,也創造了新的商機。唐北雁表示:「大資料給我們帶來的挑戰主要是如何進行資料的收集和儲存。在儲存方面,使用者應該通過雲儲存和分布式檔案儲存等技術實現對大資料基礎構架的支撐,同時使用nosql資料庫來實現資料的儲存和管理。」
李明壯表示:「在大資料平台建設中,我們不單純為使用者提供產品,更要幫助使用者制定乙個適應大資料需求的長久的資料中心規劃。這個規劃涉及我們以前不熟悉的軟體方面的知識,比如資料分析、資料探勘等。對於新興的應用領域,我們需要從零開始了解這些行業使用者的需求,為其提供更好的方案。」
澄清大資料儲存 系統整合商篇
大資料考驗整合能力 大資料在帶來新的商機和使用者的同時,也帶來了諸多挑戰。大資料儲存主要考驗的是技術整合能力和資源整合能力。大資料是一項持久的工程,也是乙個不斷迭代的過程,不能一蹴而就。業務集中在雲計算 大資料和業務連續性方面的柏科資料總經理林柏喬給記者舉了乙個例子,某客戶需要做大量的日誌分析,每天...
澄清大資料儲存 使用者篇
尋求容量 可靠性和速度的平衡 對非結構化資料進行儲存,除了考慮易用性 效能和安全因素以外,還要考慮與智慧型挖掘相關技術相結合。大資料要求使用者不僅要對傳統商業智慧型軟體進行改造,還要對企業已有的業務系統基礎架構進行改造。大資料面臨的最大挑戰是大規模 實時的關聯性分析。對於儲存來說,高吞吐 低延遲的要...
2023年中國系統整合商名單大全
系統整合,英文system integration,是指乙個組織機構內的裝置 資訊的整合,並通過完整地系統來實現對應用的支援。根據中國證監會 上市公司行業分類指引 2012年 行業分類屬於軟體和資訊科技服務業,分類 i65 根據國家統計局發布的 國民經濟行業分類與 gb t 4754 2011 屬於...