線性關係：
在二維中資料呈直線關係被稱之為線性關係
線性關係模型：?
?=?1
?1+?
2?2+…+??
??+?
w為權重，
b稱為偏置項，可以理解為：?0
×1損失函式：
每個回歸都有損失函式，目的減少誤差值
•y_i
為第i個訓練樣本的真實值 •
h?(?
?)為第?個訓練樣本特徵值組合**函式
總損失定義：
j(θ)= 〖〖(h〗_w (x〗_1) -y_1 )^2+〖〖(h〗_w (x〗_2) -y_2 )^2+…+〖〖(h〗_w (x〗_m) -y_m )^2
∑_(i=1)^m 〖(h_w (x_i )-y_i 〗 )^2
又稱最小二乘法
過擬合：乙個假設在訓練資料上能夠獲得比其他假設更好的擬合， 但是在訓練資料外的資料集上卻不能很好地擬合資料，此時認為這個假設出現了過擬合的現象。(模型過於複雜)
線性回歸容易產生過擬合
解決辦法：l2正則化：ridge嶺回歸：帶著正則化的線性回歸
欠擬合：乙個假設在訓練資料上不能獲得更好的擬合， 但是在訓練資料外的資料集上也不能很好地擬合資料，此時認為這個假設出現了欠擬合的現象。(模型過於簡單)
Python回歸演算法彙總 回歸樹
總結回歸樹在選擇不同特徵作為 節點的策略上，與決策樹的思路類似。不同之處在於，回歸樹葉節點的資料型別不是離散型，而是連續型。決策樹每個葉節點依照訓練資料表現的概率傾向決定了其最終的 類別 而回歸樹的葉節點卻是一乙個個具體的值，從 值連續這個意義上嚴格地講，回歸樹不能稱為 回歸演算法 因為回歸樹的葉節...
Python實用線性回歸演算法
1 print 您好！這裡是簡單線性回歸方程求解模型 2 num int input 請輸入您需要操作的樣本對數 3 接收自變數的list 4 xlist 5 接收因變數的list 6 ylist 78 for i in range num 9 x int input 自變數 1011 y int ...
線性回歸演算法實現（Python）
線性回歸python底層實現 一 實現目標 1.了解最優線性回歸模型引數的解析解的求解過程 2.幫助大家加深線性回歸模型的基本求解原理 3.掌握通過乙個簡單的工具包呼叫過程幫助大家掌握快速實現線性回歸模型的方法。二 案例內容介紹 線性回歸是極其學習中最基本的模型，用來擬合自變數和因變數之間呈現線性關...