區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋**的**，它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為（這個地方用矩陣的方法來表示ɵ表示引數，i表示第i個樣本，h為在ɵ引數下的**值）：
我們的目標是讓
最小，然後求出來ɵ，再代入h中就可以得到回歸方程了。
但是如果類似以下的樣本，他們的對應圖如下：
如果用之前的方法，圖中線為求出的回歸方程，那麼在x的取值和真實差別很大，這個情況叫做欠擬合。那麼我們怎麼辦呢？我們的主要思想就是只對x的附近的一些樣本進行選擇，根據這些樣本得到x附近這些樣本所推倒出來的回歸方程，那麼此時我們得到的回歸方程就比較擬合樣本資料，得到的效果圖如下：
我們解的思路如下，加入乙個加權因子：
重新構造新的j(x)
exp是以e為低的指數，這個時候可以知道如果x距離樣本很遠的時候w(i)=0，否則為1，當我們**乙個值的時候就需要我們重新來計算當前的引數ɵ的值，然後構造回歸方程，計算當前的**值。
這就是區域性加權回歸lwr！
注意：
區域性加權線性回歸是非引數的，因為對於不同x的選取，每次回歸所得到的的結果都是不一樣的
機器學習 區域性加權線性回歸
一 問題引入 我們現實生活中的很多資料不一定都能用線性模型描述。依然是房價問題，很明顯直線非但不能很好的擬合所有資料點，而且誤差非常大，但是一條類似二次函式的曲線卻能擬合地很好。為了解決非線性模型建立線性模型的問題，我們 乙個點的值時，選擇與這個點相近的點而不是所有的點做線性回歸。基於這個思想，便產...
機器學習 區域性加權線性回歸
線性回歸的乙個問題時又可能出現欠擬合現象，為了解決這個問題，我們可以採用乙個方法是區域性加權線性回歸 locally weighted linner regression 簡稱lwlr。該演算法的思想就是給帶 點附近的每乙個點賦予一定的權值，然後按照簡單線性回歸求解w的方法求解，與knn一樣，這種演...
機器學習 區域性加權回歸，邏輯回歸
特徵選擇問題 underfitting,overfitting parametric learing algorithm 有固定數目的引數以用來資料擬合的演算法 non parametric learing algorithm 引數隨著訓練集大小線性增長 lwr fit theta to minim...