二、傳輸
將壓縮包從windows傳輸到linux當前目錄下:
三、解壓
四、重新命名
(1)把scala-2.12.8 重新命名為 scala
執行命令
mvs cala-2.12.8 scala
(2)把 spark-2.4.3-bin-hadoop2.7 重新命名為 spark
執行命令
mv spark-2.4.3-bin-hadoop2.7 spark
四、測試scala是否安裝成功
scala -version為命令
五、啟動scala與啟動spark
1、啟動scala
2、啟動spark
(1)先啟動hadoop 環境
(2)啟動spark環境
進入到spark_home/sbin下執行start-all.sh
[注] 如果使用start-all.sh時候會重複啟動hadoop配置,需要./在當前工作目錄下執行命令
jps 觀察程序 多出 worker 和 mater 兩個程序。
檢視spark的web控制頁面:http://fyl001:8080/
顯示spark的埠是7070
(3)啟動spark shell
此模式用於interactive programming,先進入bin資料夾後執行:spark-shell
securecrt 下 spark-shell 下scala> 命令列無法刪除
(4)此模式用於interactive programming,先進入bin資料夾後執行:spark-shell
securecrt 下 spark-shell 下scala> 命令列無法刪除
六、使用spark shell編寫**
1、讀取本地件
2、顯示第一行內容
3、對上述hdfs根目錄下f1.txt檔案進行詞頻統計
4、檢視結果
spark安裝與配置完畢。
C語言程式設計實驗報告 實驗七
1.掌握函式的概念,分類,定義和呼叫。2.熟練編寫函式實現特定的通用功能。硬體要求 計算機一台。軟體要求 windows作業系統,dev c 或vc 6.0編譯環境 寫乙個函式,用 選擇法 對輸入的5個字元按照由小到大順序排列。要求使用陣列作為函式引數。博主覺得,這道題目的演算法不是重點,重點是函式...
第七周實驗報告2
程式頭部注釋開始 程式的版權和版本宣告部分 檔名稱 體會成員函式 有元函式 一般函式的區別 作 者 王智凱 完成日期 2012 年 04 月 02 日 版 本 號 凱子 對任務及求解方法的描述部分 輸入描述 問題描述 程式輸出 程式頭部的注釋結束 include include using name...
第七周實驗報告2
對任務及求解方法的描述部分 輸入描述 問題描述 利用成員函式 友元函式和一般函式,實現三個版本的求兩點間距離的函式,並設計main 函式完成測試。此任務和上例的區別在於 距離是乙個點和另外乙個點的距離 引數個數上有體現。程式輸出 程式頭部的注釋結束 include includeusing name...