如果你的hadoop專案將有新的突破，那麼它必定與下邊介紹的七種常見專案很相像。
有一句古老的格言是這樣說的，如果你向某人提供你的全部支援和金融支援去做一些不同的和創新的事情，他們最終卻會做別人正在做的事情。如比較火爆的hadoop、spark和storm，每個人都認為他們正在做一些與這些新的大資料技術相關的事情，但它不需要很長的時間遇到相同的模式。具體的實施可能有所不同，但根據我的經驗，它們是最常見的七種專案。
專案一：資料整合
稱之為「企業級資料中心」或「資料湖」，這個想法是你有不同的資料來源，你想對它們進行資料分析。這類專案包括從所有**獲得資料來源（實時或批處理）並且把它們儲存在hadoop中。有時，這是成為乙個「資料驅動的公司」的第一步；有時，或許你僅僅需要乙份漂亮的報告。「企業級資料中心」通常由hdfs檔案系統和hive或impala中的表組成。未來，hbase和phoenix在大資料整合方面將大展拳腳，開啟乙個新的局面，建立出全新的資料美麗新世界。
銷售人員喜歡說「讀模式」，但事實上，要取得成功，你必須清楚的了解自己的用例將是什麼（hive模式不會看起來與你在企業資料倉儲中所做的不一樣）。真實的原因是乙個資料湖比teradata和netezza公司有更強的水平擴充套件性和低得多的成本。許多人在做前端分析時使用tableau和excel。許多複雜的公司以「資料科學家」用zeppelin或ipython筆記本作為前端。
>>>閱讀全文
常見的七種Hadoop和Spark專案案例
大資料中比較火爆的hadoop spark和storm，最常見的七種專案你們是否已經了解到位了呢，下面一起了解一下吧 一 資料整合 稱之為 企業級資料中心 或 資料湖 這個想法是你有不同的資料來源，你想對它們進行資料分析。這類專案包括從所有 獲得資料來源 實時或批處理 並且把它們儲存在hadoop中...
常見的七種排序
排序演算法大體可分為兩類 非線性時間比較類排序 交換類排序 快速排序和氣泡排序 插入類排序 簡單插入排序和希爾排序 選擇類排序 簡單選擇排序和堆排序 歸併排序 二路歸併排序和多路歸併排序 線性時間非比較類排序 計數排序，桶排序，和基數排序 氣泡排序 重複地走訪過要排序的元素列，依次比較兩個相鄰的元素...
常見的七種回歸技術
根據受歡迎程度，線性回歸和邏輯回歸經常是我們做 模型時，且第乙個學習的演算法。但是如果認為回歸就兩個演算法，就大錯特錯了。事實上我們有許多態別的回歸方法可以去建模。每乙個演算法都有其重要性和特殊性。什麼是回歸分析？我們為什麼要使用回歸分析？回歸有哪些型別 如何去選擇回歸模型？回歸分析是研究自變數和因...