大綱：
1 線性回歸
1.1區域性加權回歸
2 邏輯回歸（logistic regression）
2.1感知器演算法
在一定的資料量下，特徵值過多可能會引起過擬合現象（overfitting），相反，特徵值過少可能會引起欠擬合現象（underfitting）
解決辦法：1 特徵學習演算法 2 非參學習（引數數量隨著訓練集的增長而增長）
區域性加權回歸：假設我們有一組資料如下，當我們想**某乙個點x的輸出時，我們不是訓練樣本得到函式，而是取x周圍若干個點進行線性回歸得到函式，然後帶入x求出輸出值y。為什麼叫做區域性加權呢？可以看成是訓練時每個樣本點對輸出值的貢獻與待**點點的距離有關，距離越近，貢獻越大，相當於有乙個權值。
其中，缺點：每次**乙個點的值需要用到全部的樣本從新訓練，速度慢
為什麼之前要用最小二乘法來擬合資料呢？用最大似然法可以解釋，這裡就不寫公式了
分類問題：輸出值只有少數幾個選擇 0,1,2等等
邏輯回歸（logistic regression）
實際上，為什麼用非線性函式做分類問題的啟用函式而不用線性函式，有乙個原因就是我們所用的非線性函式有值域，可以代表分類問題的幾個輸出值。而線性函式沒有值域，在某些分類問題上結果並不好。
sigmoid函式就是乙個例子，值域為0-1
感知器演算法其實就是啟用函式變成二值函式
第三課 欠擬合與過擬合的概念
1.區域性權重線性回歸 自譯 locally weighted linear regression 其中 個人認為，該演算法通過對區域性取樣本點，達到通過區域性的線性來擬合非線性的效果，其中權重函式相當於乙個截斷函式，寬度由頻寬引數 2 控制，這裡權重函式可以取其他合適的函式。該方法計算量大，對於每...
機器學習筆記三 欠擬合與過擬合的概念
注 以下所有內容均來自 網易公開課andrew ng的機器學習課程 本課要講的內容包括 1 locally weighted regression 區域性加權回歸 2 probabilistic interpretation 概率解釋 3 logistic regression 邏輯回歸 4 per...
偏差與方差，欠擬合與過擬合的關係
偏差指 輸出與真實標記的差別，記為 偏差度量了學習演算法的期望 與真實結果的偏離程度，即刻畫了學習演算法本身的擬合能力。方差指乙個特定訓練集訓練得到的函式，與所有訓練集得到平均函式的差的平方再取期望，記為 方差度量了同樣大小的訓練集的變動所導致的學習效能的變化，即刻畫了資料擾動所造成的影響。方差表示...