大資料關鍵技術
大資料環境下資料**非常豐富且資料型別多樣，儲存和分析挖掘的資料量龐大，對資料展現的要求較高，並且很看重資料處理的高效性和可用性。
傳統資料處理方法的不足
傳統的資料採集**單一，且儲存、管理和分析資料量也相對較小，大多採用關係型資料庫和並行資料倉儲即可處理。對依靠平行計算提公升資料處理速度方面而言，傳統的並行資料庫技術追求高度一致性和容錯性，根據cap理論，難以保證其可用性和擴充套件性。
傳統的資料處理方法是以處理器為中心，而大資料環境下，需要採取以資料為中心的模式，減少資料移動帶來的開銷。因此傳統的資料處理方法，已經不能適應大資料的需求。
大資料的處理流程
大資料的基本處理流程與傳統資料處理流程並無太大差異，主要區別在於：由於大資料要處理大量、非結構化的資料，所以在各個處理環節中都可以採用mapreduce等方式進行並行處理。
大資料技術為什麼能提高資料的處理速度？
大資料的並行處理利器——mapreduce，大資料可以通過mapreduce這一並行處理技術來提高資料的處理速度。mapreduce的設計初衷是通過大量廉價伺服器實現大資料並行處理，對資料一致性要求不高，其突出優勢是具有擴充套件性和可用性，特別適用於海量的結構化、半結構化及非結構化資料的混合處理。mapreduce將傳統的查詢、分解及資料分析進行分布式處理，將處理任務分配到不同的處理節點，因此具有更強的並行處理能力。作為乙個簡化的並行處理的程式設計模型，mapreduce還降低了開發並行應用的門檻。
mapreduce是一套軟體框架，包括map（對映）和reduce（化簡）兩個階段，可以進行海量資料分割、任務分解與結果彙總，從而完成海量資料的並行處理。
mapreduce的工作原理：其實是先分後合的資料處理方式。map即「分解」，把海量資料分割成了若干部分，分給多台處理器並行處理；reduce即「合併」，把各台處理器處理後的結果進行彙總操作以得到最終結果。如右圖所示，如果採用mapreduce來統計不同幾何形狀的數量，它會先把任務分配到兩個節點，由兩個節點分別並行統計，然後再把它們的結果彙總，得到最終的計算結果。
mapreduce適合進行資料分析、日誌分析、商業智慧型分析、客戶營銷、大規模索引等業務，並具有非常明顯的效果。通過結合mapreduce技術進行實時分析，某家電公司的信用計算時間從33小時縮短到8秒，而mki的基因分析時間從數天縮短到20分鐘。
說到這裡，再看一看mapreduce與傳統的分布式平行計算環境mpi到底有何不同？mapreduce在其設計目的、使用方式以及對檔案系統的支援等方面與mpi都有很大的差異，使其能夠更加適應大資料環境下的處理需求。
大資料技術在資料採集方面採用了哪些新的方法
1）系統日誌採集方法
很多網際網路企業都有自己的海量資料採集工具，多用於系統日誌採集，如hadoop的chukwa，cloudera的flume，facebook的scribe等，這些工具均採用分布式架構，能滿足每秒數百mb的日誌資料採集和傳輸需求。
2）網路資料採集方法：對非結構化資料的採集
3）其他資料採集方法
對於企業生產經營資料或學科研究資料等保密性要求較高的資料，可以通過與企業或研究機構合作，使用特定系統介面等相關方式採集資料。
ref：
大資料的關鍵技術
在大資料時代，傳統的資料處理方法還適用嗎？大資料環境下的資料處理需求 大資料環境下資料 非常豐富且資料型別多樣，儲存和分析挖掘的資料量龐大，對資料展現的要求較高，並且很看重資料處理的高效性和可用性。傳統資料處理方法的不足 傳統的資料採集 單一，且儲存 管理和分析資料量也相對較小，大多採用關係型資料庫...
大資料的關鍵技術
在大資料時代，傳統的資料處理方法還適用嗎？大資料環境下的資料處理需求 大資料環境下資料 非常豐富且資料型別多樣，儲存和分析挖掘的資料量龐大，對資料展現的要求較高，並且很看重資料處理的高效性和可用性。傳統資料處理方法的不足 傳統的資料採集 單一，且儲存 管理和分析資料量也相對較小，大多採用關係型資料庫...
大資料關鍵技術解析
大資料技術，就是從各種型別的資料中快速獲得有價值資訊的技術。大資料領域已經湧現出了大量新的技術，它們成為大資料採集 儲存 處理和呈現的有力 大資料處理關鍵技術一般包括 大資料採集 大資料預處理 大資料儲存及管理 大資料分析及挖掘 大資料展現和應用 大資料檢索 大資料視覺化 大資料應用 大資料安全等 ...