首先看下面的三幅圖，
第一幅擬合為了 y=θ0+θ1xy=θ0+θ1x 的一次函式
第二幅擬合為了y=θ0+θ1x+θ2x2y=θ0+θ1x+θ2x2 的二次函式
第三幅擬合為了 y=∑5j=0θjxjy=∑j=05θjxj的五次項函式
最左邊的分類器模型沒有很好地捕捉到資料特徵，不能夠很好地擬合資料，我們稱為欠擬合
而最右邊的分類器分類了所有的資料，也包括雜訊資料，由於構造複雜，後期再分類的新的資料時，對於稍微不同的資料都會識別為不屬於此類別，我們稱為過擬合
區域性加權回歸是一種非引數學習演算法，這使得我們不必太擔心對於自變數最高次項的選擇
我們知道，對於普通的線性回歸演算法，想要** xx 點的yy值，我們通過：
對於區域性加權回歸演算法，我們通過下列步驟** yy 的值：
exp:以e為底數的指數函式
LOESS（區域性加權回歸）
一般來說，兩個變數之間的關係是十分微妙的，僅僅採用簡單的直線 曲線引數方程去描述是不夠的，所以這時候就需要非引數回歸。關於非引數和引數方法的區別，就是在分析之前有沒有對 做一些限制，比如認為特徵和響應變數之間具有線性關係，可以通過線性方程擬合，我們只需要求出方程的係數就是引數方法，比如之前提到的線性...
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...