解壓tar xvf scala-2.11.6.tgz遷移目錄
sudo mv scala-2.11.6 /usr/local/scala
修改環境變數
sudo vim ~/.bashrc
export scala_home=/usr/local/scala
export path=$path:$scala_home/bin
source ~/.bashrc
啟動scala看是否生效
scala
解壓tar zxf spark-2.0.2-bin-hadoop2.6.tgz
遷移目錄
sudo mv spark-2.0.2-bin-hadoop2.6 /usr/local/spark/
修改環境變數
sudo vim ~/.bashrc
export spark_home=/usr/local/spark
export path=$path:$spark_home/bin
source ~/.bashrc
啟動spark看是否生效
pyspark
設定pysdpark顯示資訊, 只顯示警告資訊
cd /usr/local/spark/confcp log4j.properties.template log4j.propertiessudo vim log4j.properties
1.log4j.rootcategory=info, console改為log4j.rootcategory=warn, console
Spark之Scala語言常見應用舉例
作為乙個初學者，初次學習spark，分享一下自己的心得。在學習spark程式設計時，首先得準備編譯環境，確定程式語言，本人用的是scala語言，intellij idea編譯環境，同時得準備四個包，分別是 spark assembly 1.3.1 hd 2.6.0.jar scala compile...
Spark學習鏈結 Scala
spark初學者學習鏈結 1.scala 官方 2.spark官方指南 3.spark 機器學習庫官方指南 4.spark rdd程式設計指南 2中也有 官方 5.spark dataframe dataset程式設計指南 2中也有 6.pyspark程式設計指南 7.工具書 learning sp...
Spark基礎 Scala集合操作
1 scala的集合操作 package com.xlucas import scala.collection.mutable created by xlucas on 2017 8 17 0017.1 預設情況下map構造的是不可變的集合，裡面的內容不可修改，一旦修改就變成新的map，原有的map...