本機安裝jdk1.8.0,spark2.0.1,scala2.12.1
略見上篇
注意:spark的各個版本需要跟相應的scala版本對應.
將spark的bin目錄新增到系統變數path中。
cmd命令列中,直接執行spark-shell命令,即可開啟spark的互動式命令列模式。
執行spark-shell 顯示scala版本為2.11.8,spark可能自帶了scala,或許可以不單獨安裝scala,未測試。
附: wordcount
scala> var lines=sc.textfile("c:/users/administrator/desktop/1.txt")
scala> lines.flatmap(line=>line.split(" ")).map
(word=>(word,1)).reducebykey
((a,b)=>a+b).foreach
(println)
windows下spark的安裝
首先的在乙個大前提下就是我們本機已經安裝並配置好jdk環境變數了。選擇的環境如下 jdk1.8 scala2.10.2 hadoop2.7.4 spark2.4.4 一 scala安裝安裝後cmd輸入scala,出現如下截圖 說明安裝成功。二 hadoop安裝 hadoop home d soft ...
windows10下搭建spark平台
今天早上忙完了手裡現有的工作後,打算把spark裝一下,其實之前讀研的時候也安裝過,不過後來重灌系統了就清除掉了,今天再次安裝一下。首先說一下安裝spark必備的一些基礎 1.jdk配置網上很多,就不多說了 2.scala的安裝,這個要注意的就是跟jdk的版本匹配,我之前在這裡就折騰了挺多的時間的,...
windows下安裝php memcache擴充套件
解壓下的檔案,解壓後有以下檔案 接著以管理員身份開啟cmd,進入剛才解壓的目錄,安裝memcache memcached.exe d install 接著啟動memcache服務 memcached.exe d start 這樣memcache服務就安裝好了。接著往xampp中加入 phpmemca...