spark的安裝大多比較麻煩,而mac安裝spark非常簡單,本文分三部分內容。
1. 安裝jdk
2. 安裝spark
3. 簡單測試
真的安裝好了。。。。。
(2) 前3個下拉框選擇合適的版本(一般選擇最新的版本就行)
安裝好了。。。。。。為了之後使用方便,你可以把這個資料夾改個簡單名字,如spark-bin
(1) 開啟終端,進入spark的路徑,如
(2) 輸入./sbin/start-master.sh ,回車,這時候主機已經開始執行了,可以開啟瀏覽器,輸入http://localhost:8080 ,效果如下:
真的安裝成功了。。。。。
(3)加worker
在終端上command+n 開啟乙個新終端,進入相同路徑,在新終端中輸入
./bin/spark-class org.apache.spark.deploy.worker.worker spark://ip:port
注意,將worker後的url改為上圖中的url,也就是自己的主機位址。如
./bin/spark-class org.apache.spark.deploy.worker.worker
spark:
回車,重新整理頁面,在workers下面多了乙個worker,狀態為alive
(4) 關掉worker
直接在新終端command+c , 重新整理主機的spark頁面,worker已經dead了
(5)關掉主機
在終端輸入 ./sbin/stop-master.sh ,重新整理主機的spark頁面,已經空白了。
這就是mac 安裝spark的簡單教程,真的是簡單。。。具體步驟都有配圖,希望能給大家帶來幫助。
Spark學習系列一
1 spark 是什麼?spark是乙個快速的處理大規模資料的通用工具。它是乙個基於記憶體計算框架 包含核心元件 spark core 互動式查詢 spark sql 準實時流式計算 spark streaming 機器學習 spark mllib 圖計 算 spark graphx 2 spark...
ShaderLab教程系列(一)
首先,第一步,我們先看shader有什麼作用。我們在場景裡面新建乙個cube。我們可以看到下圖 在hierarchy中選中這個新建的cube,我們可以在inspector面板中看到 我們來做乙個小動作,通過photoshop建立一張很傻冒的圖,如下 然後將該psd檔案複製到專案中,並托給當前的cub...
spark 教程一 RDD和核心概念
1.rdd 的介紹 rdd是spark的核心概念,可以將rdd是做資料庫中的一張表,rdd可以儲存任何型別的資料,可以用api來處理rdd及rdd中的資料,類似於mapreduce,rdd 也有分割槽的概念。rdd是不可變的可以變換 transformation 操作rdd,但是這個變換返回的是乙個...