資料的核心是雲技術和bi。關於大資料和雲計算的關係人們通常會有誤解，而且也會把它們混起來說，分別做一句話直白解釋就是：雲計算就是硬體資源的虛擬化;大資料就是海量資料的高效處理。如果做乙個更形象的解釋，雲計算相當於我們的計算機和作業系統，將大量的硬體資源虛擬化之後再進行分配使用;大資料則相當於海量資料的「資料庫」。
整體來看，未來的趨勢是，雲計算作為計算資源的底層，支撐著上層的大資料處理，而大資料的發展趨勢是，實時互動式的查詢效率和分析能力，當前的大資料處理一直在向著近似於傳統資料庫體驗的方向發展。
大資料的4v特性，即型別複雜，海量，快速和價值，其總體架構包括三層，資料儲存，資料處理和資料分析，三層的相互配合，讓大資料最終產生價值。
資料儲存層，從儲存層的搭建來說，關係型資料庫，nosql資料庫和hdfs分布式檔案系統三種儲存方式都需要。從使用者來講並不關心底層儲存細節，只關心資料的儲存和讀取的方便性，通過共享資料儲存層可以實現在儲存上的應用和儲存基礎設定的徹底解耦。
資料處理層核心解決問題在於資料儲存出現分布式後帶來的資料處理上的複雜度，海量儲存後帶來了資料處理上的時效性要求，這些都是資料處理層要解決的問題。
資料分析層重點是真正挖掘大資料的價值所在，而價值的挖掘核心又在於資料分析和挖掘。那麼資料分析層核心仍然在於傳統的bi分析的內容。包括資料的維度分析，資料的切片，資料的上鑽和下鑽，cube等。
由此可以看來大資料兩大核心為雲技術和bi，離開雲技術大資料沒有根基和落地可能，離開bi和價值，大資料又變化為捨本逐末，丟棄關鍵目標。簡單來說，就是大資料目標驅動是bi，大資料實施落地式雲技術。
你知道什麼是演算法嗎？
對於演算法的解釋，全世界的定義是不唯一的。我們給出的演算法的定義是 一系列用來解決單個或多個問題，或有執行計算功能的命令的集合。再結合上輸入與輸出，演算法就是將輸入轉換為輸出的一系列計算步驟的集合。聽起來很拗口，對不對？沒關係，我們可以把乙個演算法比作是乙個菜譜。如圖1 1所示，原材料就是輸入，做出...
你知道什麼是語法糖嗎
在我之前的學習和開發中，是比較少的聽說語法糖這個概念的，我第一次是在學習python 時聽到的，但是感覺對功能 的理解沒有什麼影響就沒有再花心思去理解。今天我在看vue 官方文件，中間去看了es6中的類，文章描述 es6中類的定義可以看做是 es5 的 語法糖，我疑惑了，到底什麼是語法糖呢。語法糖 ...
你是大資料人才嗎？
大資料 無人不知，無人不曉，那麼請問你是大資料人才嗎？那麼大資料的方向大概可以分為以下三個方向 一 偏重基建與架構 大資料架構方向的人才更多注重的是hadoop spark storm等大資料框架的實現原理 部署 調優和穩定性問題，以及它們與flume kafka等資料流工具以及視覺化工具的結合技巧...