區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋**的**，它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為（這個地方用矩陣的方法來表示ɵ表示引數，i表示第i個樣本，h為在ɵ引數下的**值）：
我們的目標是讓
最小，然後求出來ɵ，再代入h中就可以得到回歸方程了。
但是如果類似以下的樣本，他們的對應圖如下：
如果用之前的方法，圖中線為求出的回歸方程，那麼在x的取值和真實差別很大，這個情況叫做欠擬合。那麼我們怎麼辦呢？我們的主要思想就是只對x的附近的一些樣本進行選擇，根據這些樣本得到x附近這些樣本所推倒出來的回歸方程，那麼此時我們得到的回歸方程就比較擬合樣本資料，得到的效果圖如下：
我們解的思路如下，加入乙個加權因子：
重新構造新的j(x)
exp是以e為低的指數，這個時候可以知道如果x距離樣本很遠的時候w(i)=0，否則為1，當我們**乙個值的時候就需要我們重新來計算當前的引數ɵ的值，然後構造回歸方程，計算當前的**值。
這就是區域性加權回歸lwr！
區域性線性回歸
線性回歸就是對整個資料集進行訓練，就比如說擬合成一條直線，引數選擇所依據的標準就是 而區域性線性回歸是對要 的點的左右區域進行擬合，也就是根據它的周圍情況擬合成一條直線，而不是整個資料集。它是非引數學習方法，是因為不能確定引數的值，而是對於某個 求得一組引數。引數隨著要 的x變化而變化。它的loss...
線性回歸和區域性加權線性回歸
coding utf 8 import ccsql from numpy import def load data filename 讀取資料 numfeat len open filename readline split t 1 datamat labelmat fr open filename...
區域性加權線性回歸
簡單來說，這個過程其實是在先擬合出一條曲線，然後再用這個曲線去 需要 的點。但是如果這個曲線擬合得不好 或者說樣本資料含有大量噪音 那麼這個 結果就會很差。區域性加權線性回歸 對於乙個資料集合 x0,y0 x1,y1 xm,ym 我們 它在x點時對應的y值時，如果採用的是傳統的 線性回歸模型，那麼 ...