一、大資料的起源
最早提出大資料時代到來的是麥肯錫：「資料，已經滲透到當今每乙個行業和業務職能領域，成為重要的生產因素。人們對於海量資料的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」
二、大資料思維
那麼，什麼是大資料思維?維克托·邁爾-捨恩伯格認為，1-需要全部資料樣本而不是抽樣;2-關注效率而不是精確度;3-關注相關性而不是因果關係。
阿里巴巴的王堅對於大資料也有一些獨特的見解，比如，
「非網際網路時期的產品，功能一定是它的價值，今天網際網路的產品，資料一定是它的價值。」
「你千萬不要想著拿資料去改進乙個業務，這不是大資料。你一定是去做了一件以前做不了的事情。」
特別是最後一點，我是非常認同的，大資料的真正價值在於創造，在於填補無數個還未實現過的空白。
有人把資料比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大資料並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。
大資料ETL詳解
etl是bi專案最重要的乙個環節，通常情況下etl會花掉整個專案的1 3的時間，etl設計的好壞直接關接到bi專案的成敗。etl也是乙個長期的過程，只有不斷的發現問題並解決問題，才能使etl執行效率更高，為專案後期開發提供準確的資料。etl的設計分三部分 資料抽取 資料的清洗轉換 資料的載入。在設計...
大資料ETL詳解
etl是bi專案最重要的乙個環節，通常情況下etl會花掉整個專案的1 3的時間，etl設計的好壞直接關接到bi專案的成敗。etl也是乙個長期的過程，只有不斷的發現問題並解決問題，才能使etl執行效率更高，為專案後期開發提供準確的資料。etl的設計分三部分 資料抽取 資料的清洗轉換 資料的載入。在設計...
大資料測試方法詳解
一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api，包括檔案讀取與訪問控制，元資料操作，鎖操作等功能 大資料分析系統的posix語義不同，實現的檔案系統api也不同，功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大，應該重點考慮應用自動化測試方法進行...