"大資料"是乙個體量特別大，資料類別特別大的資料集，並且這樣的資料集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 "大資料"首先是指資料體量(volumes)?大，指代大型資料集，一般在10tb?規模左右，但在實際應用中，很多企業使用者把多個資料集放在一起，已經形成了pb級的資料量；其次是指資料類別(variety)大，資料來自多種資料來源，資料種類和格式日漸豐富，已衝破了以前所限定的結構化資料範疇，囊括了半結構化和非結構化資料。接著是資料處理速度（velocity）快，在資料量非常龐大的情況下，也能夠做到資料的實時處理。最後乙個特點是指資料真實性（veracity）高，隨著社交資料、企業內容、交易與應用資料等新資料來源的興趣，傳統資料來源的侷限被打破，企業愈發需要有效的資訊之力以確保其真實性及安全性。
大資料(bigdata)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的4v特點：volume、velocity、variety、veracity。
"大資料"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。從資料的類別上看，"大資料"指的是無法使用傳統流程或工具處理或分析的資訊。它定義了那些超出正常處理範圍和大小、迫使使用者採用非傳統處理方法的資料集。亞馬遜網路服務（aws）、大資料科學家johnrauser提到乙個簡單的定義：大資料就是任何超過了一台計算機處理能力的龐大資料量。研發小組對大資料的定義："大資料是最大的宣傳技術、是最時髦的技術，當這種現象出現時，定義就變得很混亂。"kelly說："大資料是可能不包含所有的資訊，但我覺得大部分是正確的。對大資料的一部分認知在於，它是如此之大，分析它需要多個工作負載，這是aws的定義。當你的技術達到極限時，也就是資料的極限"。大資料不是關於如何定義，最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用資料以及大資料的應用情況如何。這與傳統的資料庫相比，開源的大資料分析工具的如hadoop的崛起，這些非結構化的資料服務的價值在**。
從所周知，大資料已經不簡簡單單是資料大的事實了，而最重要的現實是對大資料進行分析，只有通過分析才能獲取很多智慧型的，深入的，有價值的資訊。那麼越來越多的應用涉及到大資料，而這些大資料的屬性，包括數量，速度，多樣性等等都是呈現了大資料不斷增長的複雜性，所以大資料的分析方法在大資料領域就顯得尤為重要，可以說是決定最終資訊是否有價值的決定性因素。基於如此的認識，大資料分析普遍存在的方法理論有哪些呢？
1視覺化分析：大資料分析的使用者有大資料分析專家，同時還有普通使用者，但是他們二者對於大資料分析最基本的要求就是視覺化分析，因為視覺化分析能夠直觀的呈現大資料特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明瞭。
2資料探勘演算法：大資料分析的理論核心就是資料探勘演算法，各種資料探勘的演算法基於不同的資料型別和格式才能更加科學的呈現出資料本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入資料內部，挖掘出公認的價值。另外乙個方面也是因為有這些資料探勘的演算法才能更快速的處理大資料，如果乙個演算法得花上好幾年才能得出結論，那大資料的價值也就無從說起了。
3**分析能力：大資料分析最終要的應用領域之一就是**性分析，從大資料中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的資料，從而**未來的資料。
5資料質量和資料管理：大資料分析離不開資料質量和資料管理，高質量的資料和有效的資料管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大資料分析的基礎就是以上五個方面，當然更加深入大資料分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大資料分析方法。
資料採集：
參閱資料：
大資料分析引擎之presto簡介
簡介 presto是乙個大資料分析引擎，不屬於hadoop體系，他是基於記憶體的。他的集群模式是主從式的。他可以與任何的大資料儲存引擎做整合，整合的時候使用它的connectors整合 從這裡我們可以他可以和kafka mysql 記憶體 hive來做整合 安裝 1.解壓 tar zxvf pres...
大資料分析工具
新 指數 清博大資料 新 指數 www.gsdata.cn 是新 大資料第一平台，為運營新 利器 現已開通賬號分鐘級監測服務，打擊粉絲造假賬號，支援使用者自主監測新 資料 定製各類榜單，並提供資料api等各類增值服務。資料視覺化工具 cytoscape 圖表秀 資料觀 微博足跡視覺化 bdp個人版 ...
大資料分析流程
愛資料學院 welcome 一 為什麼要做乙份資料報告 你是乙個工作了一段時間的白領，你覺得現在這份工作不適合你，你下班以後去逛知乎，在上面看到很多人在說大資料代表未來，資料分析師是21世紀最 的十大職業之一 你激動了，你也要成為資料分析師，你利用空餘時間補上了統計知識，學了分析工具，然後發現自己目...