當大資料遭遇雲計算
從技術上看，大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單台的計算機進行處理，必須採用分布式計算架構。它的特色在於對海量資料的挖掘，但它必須依託雲計算的分布式處理、分布式資料庫、雲儲存和虛擬化技術。
雲計算為什麼能盛行呢？在網際網路領域應用系統的構建：客戶群體是不確定的、系統規模不確定、系統投資不固定、業務應用有很清晰的並行分割特徵、資料倉儲系統的構建、資料倉儲規模可估算、資料倉儲的系統投資與業務分析的價值和回報相關、商業智慧型應用屬於整體應用、saas模式構建資料倉儲系統。
大資料管理，分布式進行檔案系統，如hadoop、mapreduce資料分割與訪問執行；同時sql支援，以hive+hadoop為代表的sql介面支援，在大資料技術上用雲計算構建下一代資料倉儲成為熱門話題。
從系統需求來看，大資料的架構對系統提出了新的挑戰：
1. 整合度更高。乙個標準機箱最大限度完成特定任務。
2. 配置更合理、速度更快。儲存、控制器、i/o通道、記憶體、cpu、網路均衡設計，針對資料倉儲訪問最優設計，比傳統類似平台高出乙個數量級以上。
3. 整體能耗更低。同等計算任務，能耗最低。
4. 系統更加穩定可靠。能夠消除各種單點故障環節，統一乙個部件、器件的品質和標準。
5. 管理維護費用低。資料藏的常規管理全部整合。
6. 可規劃和預見的系統擴容、公升級路線圖。
雲計算環境成為大資料處理平台
1. 雲計算環境中基本計算單元的分化
企業雲計算平台上雖然有多個平行計算的cpu，但並沒有創造出具有超強資料處理能力的超級cpu，因此雲計算平台需要的是有並行運算能力的軟體系統。同時，當所有使用者的資料全部放在雲端時，雖然儲存容量可以很方便地擴充，但面對大量使用者同時發起的海量資料處理請求，簡單的資料處理邏輯已經無法滿足需要。
可以看到，國內有相當多的電商企業，用小型機和oracle扛了好幾年，並請了全國最牛的oracle的專家不停優化他的oracle和小型機，初期發展可能很快，但是後來由於資料量激增，業務開始受到嚴重影響，最典型的例子無疑是京東**前段時間發生的大規模訪問請求宕機事件，因此他們開始逐漸放棄了oracle或者ms-sql，並逐漸轉向mysql+x86的分布式架構。
目前的基本計算單元常常是普通的x86伺服器，它們組成了乙個大的雲，而未來的雲計算單元裡有可能有儲存單元、計算單元、協調單元，總體的效率會更高。
2. 對系統穩定性的需求
在應對大規模訪問的時候有一些系統穩定性的追求，來自很多方面，來自網路穩定性、資料庫穩定性。對系統而言，需要把握乙個大原則，需要消除任何單點故障。不光是網路上單點故障，還有來自你呼叫中心裡的單點故障，只要有單點故障一定要消除掉。因為對於電商行業而言，每一秒都是錢，電子商務業務如果宕機乙個小時，損失多少是可以算出來的，電商行業需要非常全面的技術系統監控報警系統。有時候你會發現你如果通過技術系統的監控去推導出你的技術發生問題已經晚了。
大資料和雲計算究竟有什麼關係？
周圍總是充斥著大資料和雲計算這兩個詞，然而，實際上，很多人對於雲計算和大資料的關係卻總是容易混淆，所以總是將 雲計算 和 大資料 放在一起討論，實則不然。簡單來說 雲計算是硬體資源的虛擬化，而大資料是海量資料的高效處理。雖然從這個解釋來看也不是完全貼切，但是卻可以幫助對這兩個名字不太明白的人很快理解...
什麼是使用者智慧型，它與資料有什麼關係？
隨著科技的發展，使用者智慧型是大勢所趨，要實現使用者智慧型，資料是根基。所謂智慧型，可以歸結為這麼一種模式 首先我們要有資料，然後在資料上套用某種演算法模型，最後再將結果資料反饋到產品中，這樣的產品就具備了一種 學習 能力，這就是產品智慧型。資料驅動產品智慧型模式如圖 1 所示。圖 1 資料驅動產品...
雲計算 大資料和物聯網之間，之間有什麼關係與區別？
雲計算 大資料和物聯網代表了it領域最新的技術發展趨勢，三者既有區別又有聯絡。雲計算最初主要包括了兩類含義 一類是以谷歌的gfs和mapreduce為代表的大規模分布式平行計算技術 另一類是以亞馬遜的虛擬機器和物件儲存為代表的 按需租用 的商業模式。隨著大資料概念的提出，雲計算中的分布式計算技術開始...