hadoop
是乙個開源的框架，主要處理、儲存和分析大量分布式的非結構化資料。他的核心是分布式檔案系統
hdfs
和mapreduce
圖一：hadoop
hadoop
將資料敲碎成多個部分，每個部分都可以同時進行處理和分析。
hadoop
內儲存的預設檔案是
hadoop
分布式檔案系統。由於類似的檔案系統不要求將資料結合進行相關聯的行和列，所以他們在儲存大量非結構化和半結構化的資料顯得得心應手。
資料一旦進入聚類器，
mapreduce
就可以開始分析了。客戶將對映任務提交給聚類器中被稱為「任務追蹤者」的節點。任務追蹤者請示名稱節點，決定未來完成任務，他需要獲取什麼資料，以及該資料在聚類器的位置。接下來的處理並行執行。
完成指定任務後，每個結點都將結果儲存起來。客戶緊接著通過「任務追蹤者」開始執行還原程式。對映階段儲存你在本地每個結點上的結果這是都將被整合起來確定初始查詢的答案，並放入下乙個聚類器的節點。
圖二：hadoop
生態系統
hadoop
的主要優點在於企業可以由此處理分析大量的非結構化和半結構化資料，並且成本低廉、快速有效。
hadoop
及其無數元件的缺點就是不成熟，仍處於研發階段。執行、管理
hadoop
聚類器，完成對非結構化資料的高階分析需要的操作人員專業知識、技巧和大量培訓。隨著各個社群不斷改善
hadoop
元件，並且越來越多的新元件開發，
hadoop
將面臨**問題。
參考文獻：
[1]:
周忠良.
金融大資料與案例分析。
大資料處理架構Hadoop
hive 資料倉儲 把sql語句轉換成mapreduce作業 pig流資料處理 乙個基於hadoop的大規模資料分析平台提供類似sql的查詢語言pig latin oozie作業流排程系統 hadoop上的工作流管理系統 zookeeper分布式協調服務 提供分布式協調一致性服務 hbase列族資料...
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...
用於實時大資料處理的Lambda架構
如果採用hdfs來儲存資料，我們就可以使用mapreduce來在資料集上構建查詢的view。batch layer的工作可以簡單的用如下偽碼表示 該工作看似簡單，實質非常強大。任何人為或機器發生的錯誤，都可以通過修正錯誤後重新計算來恢復得到正確結果。對view的理解 view是乙個和業務關聯性比較大...