Spark線性回歸實現優化

1

import
org.apache.log4j.
2import
org.apache.spark.ml.feature.vectorassembler
3import
org.apache.spark.ml.regression.linearregression
4import
org.apache.spark.sql.sparksession56
/**7
* 線性回歸
8* created by zhen on 2018/11/12.9*/
10object linearregression 
24     val df =spark.sqlcontext.createdataframe(train_map_data)
25     val colarray = array("population","income","illiteracy","lifeexp","hsgrad","frost","area")
26     val train_df = df.todf(colarray(0),colarray(1),colarray(2),colarray(3),"murder",colarray(4),colarray(5),colarray(6))
27     val assembler = new
vectorassembler()
28.setinputcols(colarray)
29       .setoutputcol("features")
30     val vectdf =assembler.transform(train_df)
31     val weights = array(0.8,0.2) //
設定訓練集和測試集的比例
32     val split_data = vectdf.randomsplit(weights) //
拆分訓練集和測試集
33//
建立模型物件
34     val linearregression = new
linearregression()
35       .setfeaturescol("features")
36       .setlabelcol("murder")
37       .setfitintercept(true
)38       .setmaxiter(10)
39       .setregparam(0.3)//
正則化40       .setelasticnetparam(0.8)
41//
訓練模型
42     val lrmodel = linearregression.fit(split_data(0))
43//
檢視模型引數
44//
lrmodel.extractparammap()
45     println(s"cofficients:$ intercept:$")
46//
模型評估
47     val trainingsummary =lrmodel.summary
48     println(s"objectivehistorylist:$")
49     println(s"r2:$")
50//
**51     val predictions = lrmodel.transform(split_data(1))
52     val predict_result = predictions.selectexpr("features","murder","round(prediction,1) as prediction") //
儲存一位小數
53     println("訓練集資料------------------------------真實值--**值")
54predict_result.foreach(println(_))55}
56 }

spark 簡單實戰 Spark線性回歸簡單例子

這個課程以乙個專案來講解spark中怎麼使用線性回歸 邏輯回歸以及svm等演算法模型。專案主要是 航班的延遲時間，專案是按照如下的流程來講解 在模型訓練地方，詳細講解了交叉驗證的功能 老湯人工智慧 機器學習課程體系分為三部分 機器學習一之數學基礎 從微積分和線性代數兩個方面講解機器學習需要的數學知識...

spark之MLlib機器學習 線性回歸

2 編寫scala原始碼 為了進一步熟悉scala程式語言，建議自己把 敲一次。import org.apache log4j import org.apache spark.import org.apache spark mllib regression linearregressionwiths...

python實現線性回歸

定義 線性回歸在假設特徵滿足線性關係，根據給定的訓練資料訓練乙個模型，並用此模型進行 文中只介紹了簡單的概念，不涉及公式的證明等。從最簡單的一元線性關係介紹,假設有一組資料型態為 y theta x，其中 x y 我們根據 x,y 模擬出近似的 theta 引數值，進而得到 y theta x 模型...