簡單來說，這個過程其實是在先擬合出一條曲線，然後再用這個曲線去**需要**的點。但是如果這個曲線擬合得不好（或者說樣本資料含有大量噪音），那麼這個**結果就會很差。
區域性加權線性回歸
對於乙個資料集合(x0,y0),(x1,y1),⋯,(xm,ym)，我們**它在x點時對應的y值時，如果採用的是傳統的 線性回歸模型，那麼：
fit θ to mininize ∑i(y(i)−θtx(i))2
output θtx
但是對於 區域性加權線性回歸(locally weighted linear regression)來說，在一定程度上可以避免上述問題，但是會付出一些計算量的代價。
區域性加權線性回歸(locally weighted linear regression)的過程是這樣的:
fit θ to mininize ∑iw(i)(y(i)−θtx(i))2
output θtx
其中w(i)是乙個非負的權值，這個權值是用來控制每乙個訓練例項對於模型的貢獻，假設要**的點是x，則w(i)可以定義為:
w(i)=e−(x(i)−x)22τ2(1)
要理解這個憑空多出來的w(i)是什麼意思，我們需要首先來看一下這個函式的影象:
從影象中我們可以看到，越是靠近**點x，其函式值就越接近於1，越是遠離**點x，其函式值就越接近於0。將這個函式加入到原始的線性回歸模型中，就變成了區域性加權線性回歸模型，其直觀意義就是越是
靠近**點的例項點，它們對**點的影響就應該
越大，越是
遠離**點的例項點，它們對**點的影響就
越小，也就是說區域性加權線性回歸模型只關注於**點
附近的點(
這就是區域性的含義)，而不考慮其他遠離**點的例項點。
區域性加權線性回歸其實是乙個非引數學習演算法(non-parametric learning algorithm)，而相對的的，線性回歸則是乙個引數學習演算法(parametric learning algorithm)，因為它的引數是固定不變的，而區域性加權線性回歸的引數是隨著**點的不同而不同。
由於每次**時都只看**點附近的例項點，因此每一次**都要重新執行一遍演算法，得出乙個組引數值，因此其計算代價是比較高的。
區域性加權線性回歸
區域性加權線性回歸是機器學習裡的一種經典的方法，彌補了普通線性回歸模型欠擬合或者過擬合的問題。機器學習裡分為無監督學習和有監督學習，線性回歸裡是屬於有監督的學習。普通的線性回歸屬於引數學習演算法 parametric learning algorithm 而區域性加權線性回歸屬於非引數學習演算法 n...
區域性加權線性回歸
區域性加權回歸 locally weighted linear regression，lwr 是一種非引數學習方法 在 新樣本值時候每次都會重新訓練資料得到新的引數值，也就是說每次 新樣本都會依賴訓練資料集合，所以每次得到的引數值是不確定的。注 引數學習方 在訓練完成所有資料後得到一系列訓練引數，然...
區域性加權線性回歸
區域性加權線性回歸 local weights linear regression 也是一種線性回歸，不同的是，普通線性回歸是全域性線性回歸，使用全部的樣本計算回歸係數。而區域性加權線性回歸，通過引入權值 核函式 在 的時候，只使用與測試點相近的部分樣本來計算回歸係數。值得一提，該方法與knn思想類...