3.1簡單線性回歸
有監督學習:資料集帶標記,標記為連續值
在乙個回歸模型中,我們需要關注或**的變數叫做因變數,我們選取的用來解釋因變數變化的變數叫做自變數。
用乙個或多個自變數來**因變數的數學方法學得乙個通過屬性的線性組合來進行**的函式
f(x) = wo+w11+…+wnn
用向量的形式表示
f(x)= w』 x + wo
優點簡單、基本、可理解性好
自變數只有乙個(一維)
y = wo+ w1x,為一元線性回歸模型,x為真實值,y為**值
y = wo+ wix+e,y為真實值,z為隨機誤差項y為y的估計值
優秀的線性回歸模型,應盡量使得估計值y對應的實際觀測值y之間的絕對差最小,即z最小。
嶺回歸
3.5模型評估與選擇
實際問題中需要比較不同方法構建模型的優劣,以及同一方法設定不同引數時模型的優劣
調參與最終模型
模型的引數:一般由機器學習自動確定如線性回歸中的變數係數等
演算法的引數:一般由人工設定,亦稱「超引數」嶺回歸,懲罰係數入
from sklearn. model_selection import gridsearchcv,網格搜尋
最終模型:
實用:演算法及演算法引數選定後,用訓練集d訓練模型
什麼是好的模型?
對模型進行評估,評估泛化誤差,利用測試誤差近似評估泛化誤差
對模型進行評估,選擇泛化誤差小的模型:準確率高且穩定的模型。
留出法:直接將資料集d劃分為兩個互斥的集合,訓練集s,測試集t:d=sut,snt= 0
k折交叉驗證法:k常取值為10
基於「自助取樣」,又稱有放回取樣,可重複取樣
機器學習 線性回歸
可以說基本上是機器學習中最簡單的模型了,但是實際上其地位很重要 計算簡單 效果不錯,在很多其他演算法中也可以看到用lr作為一部分 先來看乙個小例子,給乙個 線性回歸是什麼 的概念。圖來自 2 假設有乙個房屋銷售的資料如下 面積 m 2 銷售價錢 萬元 123 250 150 320 87 160 1...
機器學習(線性回歸)
在機器學習中,回歸 分類和標註共同構成了監督學習技術。監督學習 supervised learning 是機器學習在工業界應用最廣的乙個領域分支。在學術界中也是研究最多的領域之一。大家都知道的資料探勘十大經典演算法中,監督學習技術佔據6席。方法 自變數 特徵 因變數 結果 關係 回歸演算法是試圖採用...
機器學習 線性回歸
line fitter linearregression 建立模型 line fitter.fit temperature,sales 傳入引數 sales predict line fitter.predict temperature 模型 直線 直線上會有loss 計算loss時 要使用平方距離...