區域性加權線性回歸

區域性加權線性回歸是機器學習裡的一種經典的方法，彌補了普通線性回歸模型欠擬合或者過擬合的問題。機器學習裡分為無監督學習和有監督學習，線性回歸裡是屬於有監督的學習。普通的線性回歸屬於引數學習演算法(parametric learning algorithm)；而區域性加權線性回歸屬於非引數學習演算法(non-parametric learning algorithm)。所謂引數學習演算法它有固定的明確的引數，引數 一旦確定，就不會改變了，我們不需要在保留訓練集中的訓練樣本。而非引數學習演算法，每進行一次**，就需要重新學習一組 ， 是變化的，所以需要一直保留訓練樣本。也就是說，當訓練集的容量較大時，非引數學習演算法需要占用更多的儲存空間。

帶權重的線性回歸

基本假設是

其中假設

其中x是帶**的點，x(i)為每個訓練樣本，為每個訓練樣本計算乙個w(i)

區域性加權線性回歸

簡單來說，這個過程其實是在先擬合出一條曲線，然後再用這個曲線去 需要 的點。但是如果這個曲線擬合得不好 或者說樣本資料含有大量噪音 那麼這個 結果就會很差。區域性加權線性回歸 對於乙個資料集合 x0,y0 x1,y1 xm,ym 我們 它在x點時對應的y值時，如果採用的是傳統的 線性回歸模型，那麼 ...

區域性加權線性回歸

區域性加權回歸 locally weighted linear regression，lwr 是一種非引數學習方法 在 新樣本值時候每次都會重新訓練資料得到新的引數值，也就是說每次 新樣本都會依賴訓練資料集合，所以每次得到的引數值是不確定的。注 引數學習方 在訓練完成所有資料後得到一系列訓練引數，然...

區域性加權線性回歸

區域性加權線性回歸 local weights linear regression 也是一種線性回歸，不同的是，普通線性回歸是全域性線性回歸，使用全部的樣本計算回歸係數。而區域性加權線性回歸，通過引入權值 核函式 在 的時候，只使用與測試點相近的部分樣本來計算回歸係數。值得一提，該方法與knn思想類...