1. spark概述
spark 是乙個用來實現快速而通用的集群計算的平台。
在速度方面，spark 擴充套件了廣泛使用的 mapreduce 計算模型，而且高效地支援更多計算模式，包括互動式查詢和流處理。 在處理大規模資料集時，速度是非常重要的。速度快就意味著我們可以進行互動式的資料操作，否則我們每次操作就需要等待數分鐘甚至數小時。
spark 的乙個主要特點就是能夠在記憶體中進行計算，因而更快。不過即使是必須在磁碟上進行的複雜計算，spark 依然比 mapreduce 更加高效。
spark 2 2 0學習筆記1之概述
spark streaming spark 提供的對實時資料進行流式計算的元件 微批次架構 另一種是輸出操作 output operation 可以把資料寫入外部系統 mlib 提供常見的機器學習 ml 功能的程式庫 graphx 用來操作圖 比如社交網路的朋友關係圖 的程式庫 集群管理器 啟動執行...
spark1 2原始碼編譯
為什麼要編譯原始碼呢？要搞hive on spark。1.chd不好用，缺jar包啊 2.hive1.1的 pom檔案寫了只支援spark1.2 3.apache版本的部署包有 phive編譯，不能用 簡單粗暴的說 1.使用這個命令 mvn pyarn phadoop 2.6 dscala 2.11...
Spark原始碼編譯支援Parquet儲存格式
spark配置 spark原始碼編譯方式部署spark時，為了支援parquet功能，需要在原始碼編譯時指定支援parquet功能 即在編譯命令中帶上 parquet provided 引數 具體的編譯命令如下 dev make distribution.sh name hadoop310 with...