對比hadoop與spark的優缺點。
spark是乙個快速、通用且可擴充套件的大資料分析引擎。spark生態系統已經演變成一系列子專案，包括sparksql、spark streaming、graphx、mllib等。spark是乙個基於記憶體計算的大資料平行計算框架。spark基於記憶體計算，它改進了大資料環境中的實時資料處理，並確保了高容錯性和可擴充套件性。spark允許使用者在大量廉價硬體上部署spark以形成集群。
spark是基於mapreduce開發的，繼承了分布式平行計算的優點，改進了mapreduce的明顯缺陷。（spark和hadoop的區別）如下：
首先，spark將中間資料儲存在記憶體中，從而實現高效的迭代。mapreduce中的計算結果需要儲存在磁碟上，這可能會影響整體速度。dag框架支援分布式資料處理，提高了平行計算的效率。（延遲載入）
其次，spark具有很高的容錯性。spark引入了彈性分布式資料集（rdd）抽象。它是分布在一組節點中的唯讀物件的集合。這個系列很有彈性。它們可以根據「譜系」進行重構，從而實現基於資料的推導過程。此外，檢查點還可用於在rdd計算期間實現容錯。
最後，spark的用途更加廣泛。map reduce只提供map和reduce操作。spark提供了許多資料集操作，從轉換到操作。您可以執行多種操作，包括對映、篩選、平面對映、取樣、groupbykey、reducebykey、並集、聯接、cogroup、mapvalues、排序等。它還提供計數和操作，包括收集、減少、查詢和儲存
結論：spark是mapreduce的替代品。它與hdfs和hive相容，可以整合到hadoop生態系統中以補償mapreduce。
3. 如何實現hadoop與spark的統一部署？
由於hadoop生態系統的某些元件實現的功能，目前無法替代spark，例如，storm可以實現毫秒響應流計算，但spark無法實現毫秒響應。另一方面，企業中已有許多基於現有hadoop元件的現有應用程式，完全遷移到spark需要一定的成本。因此，在很多企業實際應用中，統一部署hadoop和spark是乙個更現實、更合理的選擇。
由於hadoop mapreduce、hbase、storm和spark都可以在資源管理框架thread上執行，因此可以在thread上統一部署。
第一次作業 大資料概述與學習資源
2.阿迪達斯的 羅盤 阿迪達斯的庫存問題很嚴重時，選擇了與廈門育泰 合作，運用大資料進行分析，採取了一些 應急措施 在最初降價 打折等清庫存的 應急措施 結束後，基於外部環境 消費者調研和門店銷售資料的收集 分析，成為了將阿迪達斯引向正軌的 羅盤 實際上，對大資料的運用，也順應了阿迪達斯大中華區戰略...
大資料第一次作業 201806120017李佳杭
微博一天所產生的資料根據平均值計算在100 200mb 人，主要資料以文字資料，jpg和mp4為主。2.對物流行業進行大資料分析 以北斗 gps導航技術為基礎，物流管理部門或者應用可以使用北斗位置服務平台通過對同時產生的位置服務資訊 實時物流車輛資訊的採集，針對物流車輛的gps軌跡資料進行分析，提供...
1 大資料第一次作業
一 列舉hadoop生態的各個元件及其功能 以及各個元件之間的相互關係，以圖呈現並加以文字描述。元件1 hdfs，作用 分布式檔案系統，儲存是hadoop體系的基礎。元件2 mapreduce，作用 作為一種計算模型，用來大資料的計算。元件3 yarn，作用 改善mapreduce的缺陷，是另一種資...