10月幾大科技巨頭的舉動使更多人意識到所謂的高科技泡沫——即「大資料」正在無限的膨脹。微軟與hortonworks合作開發hadoop,大資料領域 oracle硬體、軟體齊發力,ibm將db2與nosql資料庫有機結合。
在當今企業中80%的資料都是非結構化資料,這些資料每年都按指數增長60%。大資料將挑戰企業的儲存架構、資料中心的基礎設施等,也會引發資料倉儲、資料探勘、商業智慧型、雲計算等應用的連鎖反應。未來企業會將更多的tb級(1tb=1024gb)資料集用於商務智慧型和商務分析。到2023年,全球資料使用量預計將暴增44倍,達到35.2zb(1zb=10億tb)。大資料正在徹底改變it世界。10月幾大科技巨頭的舉動使更多人意識到所謂的高科技泡沫——即「大資料」正在無限的膨脹。
微軟與hortonworks合作開發hadoop
早在今年2月,微軟的hpc開發團隊就公布了被稱為「dryad」的分布式計算平台。這也標誌著微軟向windows hpc server使用者提供了能夠進行海量資料處理的工具。微軟推出dryad的目就是鼓勵開發者們在windows或者.net平台上編寫大規模的並行應用程式。在當時這也被視為微軟在大資料領域與hadoop對抗的有力產品。
但微軟卻於10月12日在西雅圖舉行的sql pass 2011峰會上出乎所有人預料的宣布將與從雅虎分拆出來的hortonworks合作開發hadoop,並將在apache hadoop上實現搭建windows azure以及windows server平台。同時基於hadoop的windows server還會與微軟現有的bi工具聯合處理任務。
red monk分析師stephen o'grady也很看好windows和hadoop的結合。他表示這將是非常具有吸引力的,這將吸引大量的windows使用者。微軟在此領域具有競爭的實力。
大資料領域 oracle硬體、軟體齊發力
並且exalytics的硬體和軟體配置也相當強悍:1tb記憶體和48核心的處理器;支援obiee 11g;200gb/s頻寬的timesten並行記憶體資料庫;支援記憶體並行處理的essbase olap伺服器;新的面向高頻寬分析的使用者介面以及最快的連通exadata的infiniband連線。
以往,oracle在雲計算領域一直顯得有些保守,但隨著oracle在此次大會在硬體和軟體兩個層面同時推出強有力的產品。這也標誌著oracle在雲計算領域邁出了劃時代的一步。
ibm將db2與nosql資料庫有機結合
同樣是在10月,在ibm舉辦的iod 2011大會上,ibm資料庫伺服器部門副總裁curt cotner宣布ibm將在明年推出內建nosql技術的db2旗艦級資料庫管理系統。
ibm在nosql技術領域已具備了一些經驗,其自身的rational jazz協作軟體交付平台就是使用了「triplestore」技術,而「triplestore」技術同nosql資料庫中所涉及到的技術大致相同。 triplestore技術允許使用者簡潔並快速的檢索元資料和其他相關資訊。
不過ibm rational團隊最終發現triple並不具備其所想要的可用性特徵,例如故障轉移、橫向擴充套件到多個節點等等。ibm rational團隊發現如果其在短時間內接收大量的triple,nosql儲存的索引將會鎖住資料庫。rational團隊實際上是從開源社群中借用 nosql triplestore,然後進行修改,使其嵌入到db2資料庫中,通過這樣的修改將能夠使用db2索引、日誌、高可用性解決方案以及db2資料庫中所有的功能。
cotner表示經過修改後的nosql功能在db2資料庫中執行速度將會比之前的開源產品快4倍以上,同時還可以消除可用性以及可擴充套件性帶來的問題。現今nosql功能還在開發過程中,不過rational團隊將會在未來為db2整合更多nosql的功能。
大資料在企業的未來
管理大資料的能力將成為那些越來越多地使用新形式資訊——比如文字、社交**——的企業的核心能力。這種能力將幫助企業尋找最好的模式來支援商業決策,即所謂的基於模式的戰略。作為一種變化引擎,基於模式的戰略將充分利用模式尋找流程中所有的維度。然後,它為新商業解決方案的建模提供基礎,讓企業更好地適應新的環境。處理大資料的增長並利用大資料的能力將成為許多企業的優先任務,否則未來幾年他們將受制於這些資料和他們的競爭對手。
雲計算時代 大資料泡沫正無限膨脹
在當今企業中80 的資料都是非結構化資料,這些資料每年都按指數增長60 大資料將挑戰企業的儲存架構 資料中心的基礎設施等,也會引發資料倉儲 資料探勘 商業智慧型 雲計算等應用的連鎖反應。未來企業會將更多的tb級 1tb 1024gb 資料集用於商務智慧型和商務分析。到2020年,全球資料使用量預計將...
大資料與雲計算
近幾年來,雲計算受到學術界和工業界的熱捧,隨後,大資料橫空出世,更是炙手可熱。那麼,大資料和雲計算之間是什麼關係呢?從整體上看,大資料與雲計算是相輔相成的 大資料著眼於 資料 關注實際業務,提供資料採集分析挖掘,看重的是資訊積澱,即資料儲存能力。雲計算著眼於 計算 關注it解決方案,提供it 基礎架...
大資料與雲計算
近幾年來,雲計算受到學術界和工業界的熱捧,隨後,大資料橫空出世,更是炙手可熱。那麼,大資料和雲計算之間是什麼關係呢?從整體上看,大資料與雲計算是相輔相成的 大資料著眼於 資料 關注實際業務,提供資料採集分析挖掘,看重的是資訊積澱,即資料儲存能力。雲計算著眼於 計算 關注it 解決方案,提供it 基礎...