大資料需要全面 整合 開放的解決方案

2021-09-23 01:33:47 字數 3337 閱讀 3327

文章講的是大資料需要全面、整合、開放的解決方案

大資料的應用前景之廣大已經毋庸置疑。企業ceo、cio在討論商業策略、it模式創新時幾乎言必談大資料。gartner發布的《big data drives rapid changes in infrastructure and $232 billion in it spending through 2016》(《大資料驅動基礎架構的快速變化,2023年相關it支出將達2320億美元》)報告指出,2023年大資料帶動的it支出有望達到340億美元;到2023年,全球在大資料方面的總支出將達到2320億美元。gartner強調,大資料分析工具在2023年將被視為一種必要投資。

如何充分利用大資料,挖掘大資料的商業價值,從而提公升企業的競爭力,已經成為企業關注的乙個焦點。這也是甲骨文公司努力的方向。

▲甲骨文副總裁兼大中華區技術總經理 喻思成

全面解決方案才能奏效

當前,越來越多企業將大資料的分析結果作為其判斷未來發展的依據。同時,傳統的商業**邏輯正日益被新的大資料**所取代。但是,我們要謹慎管理大家對大資料的期望值,因為海量資料只有在得到有效治理的前提下才能進一步發展其業務價值。

最廣為人知的大資料定義是gartner給出的大資料的3v特性:巨大的資料量(volume)、資料的快速處理(velocity)、多變的資料結構和型別(variety)。根據這一定義,大家首先想到的是it系統中一直難以處理卻又不容忽視的非結構化資料。也就是說,大資料不僅要處理好交易型資料的分析,還把社交**、電子商務、決策支援等資訊都融入進來。現在,分布式處理技術hadoop和nosql已經能對非結構化資料進行儲存、處理、分析和挖掘,但未能為滿足客戶的大資料需求提供乙個全面的解決方案。

事實上,普遍意義上的大資料範圍更加廣泛,任何涉及海量資料及多資料來源的複雜計算,均屬大資料範疇,而不僅侷限於非結構化資料。因此,諸如電信運營商所擁有的巨量使用者的各類詳細資料、手機開關機資訊、手機在網註冊資訊、手機通話計費資訊、手機上網詳細日誌資訊、使用者漫遊資訊、使用者訂閱服務資訊和使用者基礎服務資訊等,均可劃歸為大資料。

與幾年前興起的雲計算相比,大資料實現其業務價值所要走的路或許更為長遠。但是企業使用者已經迫不及待,越來越多企業高層傾向於將大資料分析結果作為其商業決策的重要依據。在這種背景下,我們必須找到一種全面的大資料解決方案,不僅要解決非結構化資料的處理問題,還要將功能擴充套件到海量資料的儲存、大資料的分布式採集和交換、海量資料的實時快速訪問、統計分析與挖掘和商務智慧型分析等。

典型的大資料解決方案應該是具有多種能力的平台化解決方案,這些能力包括結構化資料的儲存、計算、分析和挖掘,多結構化資料的儲存、加工和處理,以及大資料的商務智慧型分析。這種解決方案在技術應具有以下四個特性:軟硬整合化的大資料處理、全結構化資料處理的能力、大規模記憶體計算的能力、超高網路速度的訪問。

軟硬體整合是必然選擇

我們認為,大資料解決方案的關鍵在於如何處理好大規模資料計算。過去,傳統的前端資料庫伺服器、後端大儲存的架構難以有效儲存大規模資料並保持高效能資料處理。這時候,我們讓軟體和硬體更有效地整合起來進行更緊密的協作。也就是說,我們需要軟硬一體化的專門裝置來應對大資料的挑戰。

一直以來,甲骨文公司在傳統的關係型資料庫領域占有絕對優勢,但並未因此固步自封。面對大資料熱潮,甲骨文公司根據使用者的需求不斷推陳出新,將在資料領域的優勢從傳統的關係型資料庫擴充套件到全面的大資料解決方案,成為業界首個通過全面的、軟硬體整合的產品來滿足企業關鍵大資料需求的公司。

甲骨文公司以軟硬體整合的方式提供大資料的捕獲、組織、分析和決策的所有能力,為企業提供完整的整合化大資料解決方案,其中的核心產品包括oracle大資料機、exalytics商務智慧型雲伺服器和oracle exadata資料庫雲伺服器。

oracle大資料機用於多結構化大資料處理,旨在簡化大資料專案的實施與管理,其資料加工結果可以通過超高頻寬的infiniband網路連線到oracle exadata資料庫雲伺服器中。oracle exadata可提供高效資料儲存和計算能力,配備超大容量的記憶體和快速快閃儲存器,配合特有的軟硬體優化技術,可對大資料進行高效的加工、分析和挖掘。同時,甲骨文公司在oracle exadata以及資料庫軟體層面提供了非常高效和便捷的高階資料分析軟體,使資料能夠更快、更高效地得到分析、挖掘和處理。

通過oracle大資料機快速獲得、組織大資料之後,企業還要根據對大資料全面、實時的分析結果做出科學的業務決策。oracle exalytics商務智慧型雲伺服器能以前所未有的速度執行資料分析應用,為客戶提供實時、快速的可視分析。同樣,它通過infiniband網路連線到oracle exadata上進行資料載入和讀取,讓大資料直接在記憶體中快速計算,滿足大資料時代對資料分析展現的快速響應需求。oracle exalytics實現了新型分析應用,可用於異構it環境,能訪問和分析來自任何oracle或非oracle的關係型資料、olap或非結構化資料來源的資料。

oracle大資料機、oracle exalytics商務智慧型雲伺服器和oracle exadata資料庫雲伺服器一起,組成了甲骨文最廣泛、高度整合化系統產品組合,為企業提供了乙個端到端的大資料解決方案,滿足企業對大資料治理的所有需求。

堅持開放的戰略

從當前的情況來看,在大資料應用領域,僅靠一家廠商的產品難以解決所有問題。因此對於大資料解決方案**商來說,採用開放的策略是必然選擇。甲骨文公司堅持全面、開放、整合的產品策略。這一策略在大資料領域同樣適用。

這首先體現在大資料戰略在技術上支援hadoop和開源軟體。除了整合化產品,甲骨文公司還擁有一系列領先技術,以幫助使用者全面應對大資料應用的挑戰,其中包括oracle nosql資料庫,以及針對hadoop架構的系列產品。

oracle nosql資料庫專門為管理海量資料而設計,可以幫助企業訪問非結構化資料,並可橫向擴充套件至數百個高可用性節點。同時,該產品能夠提供可**的吞吐量和延遲時間,而且更加容易安裝、配置和管理,支援廣泛的工作負載。

而專門針對hadoop架構的產品,能夠幫助企業應對在組織和提取大資料方面所面臨的挑戰,包括oracle資料整合hadoop應用介面卡、oracle hadoop裝載器以及oracle sql connector等。

此外,oracle r enterprise實現了r開源統計環境與oracle資料庫11g的整合,為進行更進一步的資料分析提供了乙個企業就緒的、深度整合的環境。

值得一提的是,除對產品和解決方案不斷投入,甲骨文公司還致力於和合作夥伴合作開發大資料解決方案。目前,幾乎所有的甲骨文合作夥伴都在關注和測試大資料解決方案。甲骨文公司正積極尋找更多本地合作夥伴,為客戶提供更加定製化的產品和解決方案。

總而言之,大資料已經和雲計算、社交化、移動化一起,成為現階段驅動企業it模式變革的重要因素。oracle大資料解決方案可以橫跨it架構的所有層面,與其他產品進行創新整合,並憑藉卓越的可靠性、可擴充套件性和可管理性,為企業的it發展,甚至業務發展提供理想的it基礎支援。

騰訊陳磊 大資料是解決開放平台效率的重要手段

由infoq主辦,2013qcon全球軟體開發大會 北京站 於4月25日 27日在北京國際會議中心召開,作為年度軟體研發技術交流盛會,大會雲集了來自國內外頂級軟體研發大師和各開發領域一線專家,帶來了年度技術最強音。開放平台構建生態體系 面對越來越多的平台加入開放的行列及產生的豐富資料,陳磊表示,開放...

大資料倫理 需要CIO的參與

最近,在哈佛大學舉行的一次會議上,學者和業內人士討論了大資料在不久的將來要面臨的倫理挑戰。在哈佛大學舉辦的societal impact through computing research 研討會上,一位與會者分享了自己與一位六個月前,剛搬到哈特福德,康乃狄克州的保險公司的it領導人之間的一次會面...

智慧型城市需要大資料的支撐

今天上午,湖南統一戰線同心講堂第九期活動在省社會主義學院舉辦,省政協副主席 民盟省委主委 省國土資源廳副廳長楊維剛為統一戰線成員講授 智慧型城市與大資料 究竟什麼是智慧型城市?智慧型城市與大資料又是如何聯絡在一起的?楊維剛分別解讀了智慧型城市中政務 醫療 食物鏈 社群 安防 物流 旅遊 景區 環保 ...