一種特定的非引數學習演算法。也稱作loess。
演算法思想：
假設對於乙個確定的查詢點x，在x處對你的假設h(x)求值。
對於線性回歸，步驟如下：
1) 擬合出
，使最小2) 返回
對於區域性加權回歸，當要處理x時：
1) 檢查資料集合，並且只考慮位於x周圍的固定區域內的資料點
2) 對這個區域內的點做線性回歸，擬合出一條直線
3) 根據這條擬合直線對x的輸出，作為演算法返回的結果
用數學語言描述即：
1) 擬合出
，使最小2) w為權值，有很多可能的選擇，比如：
- 其意義在於，所選取的x(i)越接近x，相應的w(i)越接近1；x(i)越遠離x，w(i)越接近0。直觀的說，就是離得近的點權值大，離得遠的點權值小。
- 這個衰減函式比較具有普遍意義，雖然它的曲線是鐘形的，但不是高斯分布。
-被稱作波長函式，它控制了權值隨距離下降的速率。它越小，鐘形越窄，w衰減的很快；它越大，衰減的就越慢。
3) 返回
總結：對於區域性加權回歸，每進行一次**，都要重新擬合一條曲線。但如果沿著x軸對每個點都進行同樣的操作，你會得到對於這個資料集的區域性加權回歸**結果，追蹤到一條非線性曲線。
*區域性加權回歸的問題：
由於每次進行**都要根據訓練集擬合曲線，若訓練集太大，每次進行**的用到的訓練集就會變得很大，有方法可以讓區域性加權回歸對於大型資料集更高效，詳情參見andrew moore的關於kd-tree的工作。
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
通常情況下的線性擬合不能很好地 所有的值，因為它容易導致欠擬合 under fitting 比如資料集是 乙個鐘形的曲線。而多項式擬合能擬合所有資料，但是在 新樣本的時候又會變得很糟糕，因為它導致資料的 過擬合 overfitting 不符合資料真實的模型。今天來講一種非引數學習方法，叫做區域性加權...