Spark windows下配置spark開發環境

增加spark_home

path中加入%spark_home%\bin

修改sbt資源庫.ivy2位置

%sbt_home%/conf/sbtopts裡面進行配置（此步驟不用配置，因為用下面的修改即可起效）

-sbt-dir  d:

/scala/sbt/sbt_0.
13.17
-sbt-boot d:
/scala/sbt/
.sbt/boot  
-ivy d:
/scala/sbt/
.ivy2
-sbt-version  0.13
.17-scala-version 2.11
.12

[repositories]

local
local-preloaded-ivy: file:///$/.sbt}/preloaded/}, [organization]/[module]/[revision]/[type]s/[artifact]
(-[classifier]
).[ext]
local-preloaded: file:///$/.sbt}/preloaded/}
m**en-central
typesafe-ivy-releases:  [organization]/[module]/[revision]/[type]s/[artifact]
(-[classifier]
).[ext], bootonly
sbt-ivy-snapshots:  [organization]/[module]/[revision]/[type]s/[artifact]
(-[classifier]
).[ext], bootonly
aliyun: 
sbt-m**en-releases:  bootonly
sbt-m**en-snapshots:  bootonly
[boot]
directory: d:/scala/sbt/.sbt/boot/
[ivy]
ivy-home: d:/scala/sbt/.ivy2
checksums: $
override-build-repos: $
repository-config: d:/scala/sbt/.sbt/repositories

~表示c盤使用者目錄，注意此時就算更改了資源庫位置也會在c盤使用者目錄生成.sbt資料夾，plugins.sbt放在此處

檔案內容：

addsbtplugin

("com.typesafe.sbteclipse"
%"sbteclipse-plugin"
%"5.2.4"
)

在eclipse裡建立乙個scala專案。

開啟cmd，cd到專案根目錄下。

也就是和build.sbt位於同一目錄。

也可以在workplace裡面新建立乙個資料夾，在裡面執行sbt eclipse，然後用eclipse匯入專案，再修改下裡面的scala版本（不用修改j**a build path，直接修改scala compiler就好），加入source資料夾等（推薦這種方式）。

乙個build.sbt檔案的例子：

name :

="test"
version :
="1.0"
scal**ersion :
="2.11.8"
librarydependencies +=
"org.apache.spark"%%
"spark-core"
%"2.3.1"
librarydependencies +=
"org.apache.spark"%%
"spark-sql"
%"2.3.1"
librarydependencies +=
"org.apache.spark"%%
"spark-mllib"
%"2.3.1"
librarydependencies +=
"org.apache.hbase"
%"hbase-common"
%"1.4.0"
librarydependencies +=
"org.apache.hbase"
%"hbase-client"
%"1.4.0"
librarydependencies +=
"org.apache.hbase"
%"hbase-server"
%"1.4.0"
librarydependencies +=
"org.apache.hadoop"
%"hadoop-common"
%"2.7.5"
librarydependencies +=
"org.apache.hadoop"
%"hadoop-client"
%"2.7.5"
librarydependencies +=
"org.apache.hadoop"
%"hadoop-hdfs"
%"2.7.5"
librarydependencies +=
"com.typesafe.akka"%%
"akka-actor"
%"2.3.6"
lazy val akk**ersion =
"2.5.3"
librarydependencies ++
=seq
("com.typesafe.akka"%%
"akka-actor"
% akk**ersion,
"com.typesafe.akka"%%
"akka-testkit"
% akk**ersion,
"org.scalatest"%%
"scalatest"
%"3.0.1"
%"test"
)

Linux下配置vim 配置ctags

配置ctags 假設你要編譯的源 目錄位置為 worksapce weather 執行下面操作,生成tags標籤檔案 root ericsson workspace weather pwd workspace weather root ericsson workspace weather ls di...

ubuntu下源配置

更新源，更新系統 編輯源 sudo gedit etc apt sources.list 配置乙個源足矣，越多越麻煩。系統似乎不會自動識別速度最快的源，源越多隻會導致update和upgrade的速度減慢。中國科學技術大學更新伺服器 教育網，推薦校園網和網通使用者使用 電信cn99的源 推薦電信使用...

Linux下配置網路

cd etc sysconfig network scripts 拷貝乙份設定檔案 cp ifcfg eth0 ifcfg eth0.bak 編輯檔案 vi ifcfg eth0 onboot 是否啟動網路 bootoroto ip的設定方式 dhcp自動設定 static手動設定 新增ip位址 a...