假設一種情況，根據x**y
(a):使用y=
θ0+θ
1x1y=θ0+θ1x1
去匹配資料，過於擬合資料，喪失了**性。
所以(a)代表了欠擬合(underfitting)，(c)代表了過擬合(overfitting)，這也說明了在監督學習中特徵的選擇會對學習演算法的效能產生很大的影響。
parametric learning algorithm
始終由固定的引數擬合資料。
如：線性回歸(linear regression)
(to evaluate h(
x)h(x)
non-parametric learning algorithm
引數的數量不是恆定的，有時為了更好地實現假設，會隨著訓練集合數量的變化而線性變化。
如：區域性加權回歸(locally weight regression)
(to evaluate h(
x)h(x)
公式：∑iw
(i)(
y(i)
−θtx
(i))
2∑iw(i)(y(i)−θtx(i))2w(
i)w(i)
與高斯函式沒有任何關係，而且區域性加權回歸在大規模資料中的效能並不優秀，但是也有優化的方法。
為什麼要在回歸問題中使用最小二乘法？
首先引入誤差(error term)概念，假設： y(
i)=θ
tx(i
)+ε(
i)y(i)=θtx(i)+ε(i)
的值不會影響我們的最終結果(因為所求的是θ，只要代價函式最小，就可以確定θ的值)。
首先學習二元分類問題(binary classification)，y只有0，1兩個取值。對於分類問題使用線性回歸是乙個十分糟糕的選擇，因為直線會由於資料因素而無法將樣本正確地分類。 因為y
∈y∈是logistic函式。
logistic函式是曲線變化的，我們想要更加明確地將輸出分為0，1兩類，就要用到階梯函式／臨界函式(threshold function)來代替logistic函式。
可以算得上是乙個「簡單粗暴「的演算法…
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
通常情況下的線性擬合不能很好地 所有的值，因為它容易導致欠擬合 under fitting 比如資料集是 乙個鐘形的曲線。而多項式擬合能擬合所有資料，但是在 新樣本的時候又會變得很糟糕，因為它導致資料的 過擬合 overfitting 不符合資料真實的模型。今天來講一種非引數學習方法，叫做區域性加權...