在美國與技術研究院中的定義是：指一種按使用量付費的模式，這種模式提供可用的，便攜的，按需的網路訪問，進入可配置的計算資源共享池，這些資源能夠被快速的提供，只需要投入極少的管理工作，或與服務**商進行很少的互動。資源共享池裡資源包括 網路，伺服器，儲存，應用軟體，服務等。
指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。而ibm指出大資料的5v特點：volume（大量）、velocity（高速）、variety（多樣）、value（價值）、veracity（真實性）。
大資料處理隨筆
1.mssql當資料庫資料超過1000萬的時候超時是正常的，所以當表資料到1000萬時候注意delete 2.今天遇到資料庫時間格式2014021000 當然是int型別哦 3.聯合索引使用 開始時間與結束時間這樣一起查詢的要建成索引 4.訂閱資料庫，只可以查詢操作，這樣的話可以在這個表上面建立索引...
隨筆 MySQL大資料匯入
最近工作總是遇到分析一些大批量的資料，給的sql檔案有1 2g，每次把資料搞進去就得花費很長時間，網上看了很多方法，說什麼設定快取大小 set global max allowed packet 2 1024 1024 通訊快取區間大小 set global net buffer lenght 10...
大資料技術
如果沒有乙個好的開始，不妨試試乙個壞的開始吧。因為乙個壞的開始，總比沒有開始強。而完美的開始，則永遠都不會來到。資料採集傳輸主要技術 分為兩類，一類是離線批處理 另一類是實時資料採集和傳輸 離線批處理最有名的是sqoop 實時資料採集和傳輸最為常用的是flume和kafka sqoop 一款開源的離...