區域性加權回歸(locally weighted linear regression，lwr)是一種非引數學習方法–在**新樣本值時候每次都會重新訓練資料得到新的引數值，也就是說每次**新樣本都會依賴訓練資料集合，所以每次得到的引數值是不確定的。
注：引數學習方–在訓練完成所有資料後得到一系列訓練引數，然後根據訓練引數來**新樣本的值，這時不再依賴之前的訓練資料了，引數值是確定的。
線性回歸
在普通的線性回歸分析中，常用表達形式y=
fw′(
x)=w
tx+w
0 來確定兩種或兩種以上變數間相互依賴的定量關係，其中x=
(x1,
x2,.
..,x
n)t ,w=
(w1,
w2,.
..,w
n)t ,w′
=(w0
,w1,
w2,.
..,w
n)t 。
為了根據訓練資料得到引數w′
，先確定其最小二乘的損失函式為 s(
w′)=
∑i=1
m(y−
fw′(
x))2
. 然後通過求解優化問題ar
gmin
(s(w
′)) 找到合適的引數w′
使得上述損失函式最小即可。
線性回歸雖說簡單直觀，但是對於很多問題表現卻並不好，如上面左圖所示。對於此種非線性關係的場景，傳統線性回歸已無法正確地描述自變數和因變數之前的關係。若利用非線性回歸，又很容易出現過擬合或欠擬合現象。區域性加權線性回歸在一定程度上可以解決上述問題，但是會付出一些計算量的代價。如上面右圖所示。
區域性加權線性回歸基本思想
在區域性加權回歸中，損失函式變為： s(
w′)=
∑i=1
mvi(
y−fw
′(x)
)2.
其中vi 的表示式如下所示： vi
=exp(−
x−xi
2τ2)
. 上式中引數
x 為新**的樣本特徵資料，它是乙個向量，引數
τ控制了權值變化的速率。 這個時候可以知道如果
x 距離樣本很遠的時候vi
=0，否則為1，當我們**乙個值的時候就需要我們重新來計算當前的引數w′
的值，然後構造回歸方程，計算當前的**值。
演算法步驟
1. 輸入**樣本資料
x ;
2. 根據公式計算v1
,v2 ,……,vm
; 3. 將v1
,v2 ,……,vm
帶入損失函式，利用最小二乘法確定線性係數w′
=(w0
,w1,
w2,.
..,w
n)t ;
4. **輸出結果：y=
fw′(
x)=w
tx+w
0 。
演算法實戰（r語言）
區域性加權線性回歸
簡單來說，這個過程其實是在先擬合出一條曲線，然後再用這個曲線去 需要 的點。但是如果這個曲線擬合得不好 或者說樣本資料含有大量噪音 那麼這個 結果就會很差。區域性加權線性回歸 對於乙個資料集合 x0,y0 x1,y1 xm,ym 我們 它在x點時對應的y值時，如果採用的是傳統的 線性回歸模型，那麼 ...
區域性加權線性回歸
區域性加權線性回歸是機器學習裡的一種經典的方法，彌補了普通線性回歸模型欠擬合或者過擬合的問題。機器學習裡分為無監督學習和有監督學習，線性回歸裡是屬於有監督的學習。普通的線性回歸屬於引數學習演算法 parametric learning algorithm 而區域性加權線性回歸屬於非引數學習演算法 n...
區域性加權線性回歸
區域性加權線性回歸 local weights linear regression 也是一種線性回歸，不同的是，普通線性回歸是全域性線性回歸，使用全部的樣本計算回歸係數。而區域性加權線性回歸，通過引入權值 核函式 在 的時候，只使用與測試點相近的部分樣本來計算回歸係數。值得一提，該方法與knn思想類...