一、hadoop架構
hadoop提供了在集群機器中實現容錯、並行處理框架，具有兩個關鍵能力：
hdfs：分布式儲存
mapreduce：分布式計算
二、spark架構
spark建立在hadoop概念之上。
三、 spark與hadoop的區別
1. spark在雞群中每個機器節點上的記憶體（ram）中儲存資料
hadoop在集群中每個機器節點的磁碟中儲存資料
因此，hadoop可以順序訪問資料，而spark可以以任意順序訪問資料
spark的關鍵好處在於互動式查詢和迭代處理過程中在記憶體中快取rdd。快取起來的rdd可以避免每次重新處理父rdd鏈，而只需要直接返回父rdd計算後的快取結果。
這意味著要用到spark基於記憶體的計算處理特性，要求集群中的機器記憶體要足夠大。要是可用記憶體不夠，那麼spark就會優雅地溢位資料到磁碟，保證spark能繼續執行。
2. spark可以以任意順序訪問資料，支援互動式查詢及迭代演算法
hadoop適合在乙個大資料集上進行單詞查詢。如果要做互動查詢，就需要重新從磁碟加在資料，再再次進行資料處理。
Hadoop和Spark聯絡與區別
解決問題的層面不一樣 首先，hadoop和apache spark兩者都是大資料框架，但是各自存在的目的不盡相同。hadoop實質上更多是乙個分布式資料基礎設施 它將巨大的資料集分派到乙個由普通計算機組成的集群中的多個節點進行儲存，意味著您不需要購買和維護昂貴的伺服器硬體。同時，hadoop還會索引...
hadoop和spark的區別
在學習hadoop的時候查詢一些資料的時候經常會看到有比較hadoop和spark的，對於初學者來說難免會有點搞不清楚這二者到底有什麼大的區別。我記得剛開始接觸大資料這方面內容的時候，也就這個問題查閱了一些資料，在 freerch大資料一體化開發框架 的這篇說明文件中有就hadoop和spark的區...
一 hadoop和spark的區別
hadoop是基於磁碟的，它的運算結果儲存在磁碟當中 而spark的運算是基於記憶體的。因此spark的運算速度是 hadoop的100倍 即使在磁碟當中運算，spark也是hadoop的10倍左右，原因就是spark具有優秀的作業排程策略。故spark的速度快與hadoop的兩個原因 1 spar...