1.spark-shell互動式程式設計
（1） 該系總共有多少學生；
（2） 該系共開設來多少門課程；
（3） tom 同學的總成績平均分是多少；
（4） 求每名同學的選修的課程門數；
（5） 該系 database 課程共有多少人選修
（6） 各門課程的平均分是多少；
2.編寫獨立應用程式實現資料去重：
對於兩個輸入檔案 a 和 b，編寫 spark 獨立應用程式，對兩個檔案進行合併，並剔除其 中重複的內容，得到乙個新檔案 c
**：新建scala檔案
寫入一下**
import org.apache.spark.sparkcontext
import org.apache.spark.sparkcontext._
import org.apache.spark.sparkconf
import org.apache.spark.hashpartitioner
object remdup val **g = sum/n val format = f"$**g%1.2f".todouble (x._1,format)
}) res.s**eastextfile("result")
打包並執行：
結果
假期學習 五 RDD程式設計實驗四
今天完成了實驗四的第二問和第三問 第二題對於兩個輸入檔案 a 和 b，編寫 spark 獨立應用程式，對兩個檔案進行合併，並剔除其 中重複的內容，得到乙個新檔案 c。下面是輸入檔案和輸出檔案的乙個樣例，供參考。輸入檔案 a 的樣例如下 20170101 x 20170102 y 20170103 x...
實驗5 Spark SQL 程式設計初級實踐
原始檔內容如下 包含 id,name,age 將資料複製儲存到 ubuntu 系統 usr local spark 下，命名為 employee.txt，實現從 rdd 轉換得到 dataframe，並按 id 1,name ella,age 36 的格式 列印出 dataframe 的所有資料。請...
信安實驗四 CTF實踐
二.實驗內容 三.實驗總結 ctf capture the flag 中文一般譯作奪旗賽，在網路安全領域中指的是網路安全技術人員之間進行技術競技的一種比賽形式。ctf起源於1996年defcon全球黑客大會，以代替之前黑客們通過互相發起真實攻擊進行技術比拼的方式。發展至今，已經成為全球範圍網路安全圈...