windows下安裝spark環境

2021-07-30 22:09:51 字數 588 閱讀 6082

本機安裝jdk1.8.0,spark2.0.1,scala2.12.1

略見上篇

注意:spark的各個版本需要跟相應的scala版本對應.

將spark的bin目錄新增到系統變數path中。

cmd命令列中,直接執行spark-shell命令,即可開啟spark的互動式命令列模式。

執行spark-shell 顯示scala版本為2.11.8,spark可能自帶了scala,或許可以不單獨安裝scala,未測試。

附: wordcount

scala> var lines=sc.textfile("c:/users/administrator/desktop/1.txt")

scala> lines.flatmap(line=>line.split(" ")).map

(word=>(word,1)).reducebykey

((a,b)=>a+b).foreach

(println)

windows下spark的安裝

首先的在乙個大前提下就是我們本機已經安裝並配置好jdk環境變數了。選擇的環境如下 jdk1.8 scala2.10.2 hadoop2.7.4 spark2.4.4 一 scala安裝安裝後cmd輸入scala,出現如下截圖 說明安裝成功。二 hadoop安裝 hadoop home d soft ...

windows10下搭建spark平台

今天早上忙完了手裡現有的工作後,打算把spark裝一下,其實之前讀研的時候也安裝過,不過後來重灌系統了就清除掉了,今天再次安裝一下。首先說一下安裝spark必備的一些基礎 1.jdk配置網上很多,就不多說了 2.scala的安裝,這個要注意的就是跟jdk的版本匹配,我之前在這裡就折騰了挺多的時間的,...

windows下安裝php memcache擴充套件

解壓下的檔案,解壓後有以下檔案 接著以管理員身份開啟cmd,進入剛才解壓的目錄,安裝memcache memcached.exe d install 接著啟動memcache服務 memcached.exe d start 這樣memcache服務就安裝好了。接著往xampp中加入 phpmemca...