Spark入門三部曲之第二步Spark開發環境搭建

2021-07-04 07:58:14 字數 1706 閱讀 7348

使用scala+intellij idea+sbt搭建開發環境

提示搭建開發環境常遇到的問題:

2.版本匹配問題,版本不匹配會遇到各種問題,解決方法,按照如下版本搭建,

scala(2.10.3),sbt(0.13),sbt-assembly(0.11.2),spark(1.2.0)

3.如果按照本教程 搭建仍不成功,推薦看www.bigdatastudy.cn上我錄製的課程spark開發環境搭建(免費的)

安裝scala

預設安裝選項會自動配置環境變數。

如果沒有自動配置,進行環境變數配置

scala_home: c:\program files (x86)\scala\

path後面加上 ;%scala_home%\bin

啟用碼如下:

key:tommy

value:49164-ypnvl-oxuzl-xiwm4-z9ohc-lf053

key:itey

value:91758-t1cla-c64f3-t7x5r-a7ydo-crsn1

intellij idea常用的設定

在intellj/bin/idea64.exe.vmoptions(64位,物理記憶體大,建議增大),加大idea的啟動記憶體:

-xms512m

-xmx1024m

-xx:maxpermsize=512m

游標所在行背景顏色:

editor – colors&fonts – general – caret row,選擇藍色背景,以便具有較大色差。

為每個專案指定不同版本的jdk:

idea可以為每個專案指定不同版本的jdk,並且需要開發者手動配置專案的所使用的jdk版本。配置方法如下:

單擊file | project structure選單項,開啟projectstructure對話方塊;

在左側列表框中,選擇sdks列表項,進入sdk配置頁面;

若中間的sdk列表框沒有選項,則單擊「+」號建立乙個jdk列表項;

選擇jdk列表項,在sdk 』jdk』選項卡頁面中,單擊jdk home path專案的瀏覽按鈕,定位jdk安裝路徑並儲存

build.sbt檔案

使用bt 0.13進行編譯

//該宣告包括assembly plug-in功能

assemblysettings

// 使用 assembly plug-in配置jar

jarname in assembly := 「my-project-assembly.jar」

// 從我們的assembly jar中排除scala, 因為spark已經繫結了scala

assemblyoption in assembly :=(assemblyoption in assembly).value.copy(includescala = false)

進一步配置

要使sbt-assembly外掛程式生效,在project/目錄下新建乙個檔案,列出這個外掛程式的依賴。

新建project/assembly.sbt 增加如下的配置:

addsbtplugin(「com.eed3si9n」 % 「sbt-assembly」 % 「0.11.2」)

自此,環境搭建完畢。

spark的安裝,請參考spark入門三部曲之第一步spark的安裝

spark程式的開發和執行,請參考spark入門三部曲之第三步spark程式的開發和執行

程式設計入門三部曲 第二步 向表單中增加控制項

c 程式設計入門三部曲 第二步 向表單中增加控制項 出處 enet學院 01 11 23 0 29 第二步 向表單中增加控制項 接著的一步是向表單中增加控制項。我們為每個控制項建立乙個例項變數,對這些新例項變數進行初始化,最後把每個控制項都放在表單中。這裡是增加了控制項之後表單的樣子,以及更新過的 ...

C 程式設計入門三部曲 第二步向表單中增加控制項

第二步 向表單中增加控制項 接著的一步是向表單中增加控制項。我們為每個控制項建立乙個例項變數,對這些新例項變數進行初始化,最後把每個控制項都放在表單中。這裡是增加了控制項之後表單的 樣子,以及更新過的 public class tempconverter system.winforms.form 以...

SQL注入三部曲之入門篇

伺服器安全管理員和攻擊者的戰爭彷彿永遠沒有停止的時候,針對國內 的asp架構的sql注入攻擊 又開始大行其道。本篇文章通過sql注入攻擊原理引出sql注入攻擊的實施方法,旨在企業安全管理員能夠通過技術學習提公升自己的安全意識。第一節 sql注入原理 以下我們從乙個網www.mytest.com開始 ...