今天有安裝了一下教程上spark的kafka作為spark的資料來源，看教程看不懂是幹什麼的，但是在教程的幫助下安裝上了kafka
然後我有解決了之前實驗四的一些問題，2和3獨立程式設計中sbt打包一直失敗，後來發現
2.編寫獨立應用程式實現資料去重
對於兩個輸入檔案 a 和 b，編寫 spark 獨立應用程式，對兩個檔案進行合併，並剔除其 中重複的內容，得到乙個新檔案 c。下面是輸入檔案和輸出檔案的乙個樣例，供參考。 輸入檔案 a 的樣例如下：
20170101 x 20170102 y 20170103 x 20170104 y 20170105 z 20170106 z 輸入檔案 b 的樣例如下：
20170101 y 20170102 y 20170103 x 20170104 z 20170105 y 根據輸入的檔案 a 和 b 合併得到的輸出檔案 c 的樣例如下： 20170101 x 20170101 y 20170102 y
中**路徑應該有兩個valdatafile1="file:///usr/local/spark/mycode/remdup/data1.txt,file:///usr/local/spark/mycode/remdup/data2.txt"
然後就完成了，輸出的檔案在hdfs裡
編寫獨立應用程式實現求平均值問題
每個輸入檔案表示班級學生某個學科的成績，每行內容由兩個字段組成，第乙個是學生名字，第二個是學生的成績；編寫 spark 獨立應用程式求出所有學生的平均成績，並輸出到
乙個新檔案中。下面是輸入檔案和輸出檔案的乙個樣例，供參考。
algorithm 成績：
小明 92
小紅 87
小新 82
小麗 90
database 成績：
小明 95
小紅 81
小新 89
小麗 85
python 成績：
小明 82
小紅 83
小新 94
小麗 91
平均成績如下：
(小紅,83.67)
(小新,88.33)
(小明,89.67)
(小麗,88.67)
跟這個一樣
JS第十二天
a dom2級規範定義了一些模組，用於dom1級，dom2級核心 為了不同的dom型別引入了一些與xml命名空間有關的方法，這些變化只在使用xml或者是xhtml文件的時才有用 對於httml文件沒有實際的意義，除了與xml命名空間有關的方法外，dom級核心 還定義了以程式設計凡事建立documen...
java第十二天
b 案例演示 a 非正規表示式實現 b 正規表示式實現 b 案例演示 b 案例演示 1 a b c 2 a 3 b c 4 c 組零始終代表整個表示式。b 案例演示 a 切割 需求 請按照疊詞切割 sdqqfgkkkhjppppkl b 替換 需求 我我 我 我.要 要要 要學 學學.學.編.編編....
springboot第十二天
springboot1.0,2014年發布，預設資料庫連線池為 tomcat jdbc pool springboot2.0,2018年3月1日發布，預設資料庫連線池為 hikari 1.專案建立選擇元件 mysql,jdbc web spring datasource username root ...