注：以下所有內容均來自 網易公開課andrew ng的機器學習課程
本課要講的內容包括：
1、locally weighted regression(區域性加權回歸)
2、probabilistic interpretation(概率解釋)
3、logistic regression(邏輯回歸)
4、perception(感知器)
5、newton's method(牛頓方法)
欠擬合與過擬合的概念
對於以下三種擬合，第一種用一次函式擬合，第二種用二次函式擬合，第三種用7次函式。顯然，二次函式的擬合比較恰當，一次函式為欠擬合，7次函式為過擬合。
補充概念：
引數學習演算法（parametric learning algorithem）是已知x找到合適的theta的引數集合
非引數學習演算法（no-parametric learning algorithem）引數的數量會隨著訓練集合m的增長而增長
區域性加權回歸（一種非引數學習演算法）
lwr演算法，就是在所選點周圍選取一系列樣本，然後用線性回歸擬合函式，在建構函式選取引數theta時，靠近的點求和權重w(i)設定大一些
通常，我們設定w(i)函式為指數衰減函式：
概率解釋
我們假設y和x滿足如下等式，第二項為誤差項
進一步假設誤差項滿足高斯分布，即
以上兩式換元之後得到
概率密度函式也即關於theta的似然函式，即
又有m個樣本滿足獨立同分布，故似然函式滿足
為了計算方便，我們對函式取對數得 l(theta)，並化簡
顯然，要取得最大似然，就得第二項越小，這點解釋了為什麼最小二乘法能進行合理的**
邏輯回歸
我們在之前的線性回歸中，遇到的都是連續分布的元祖，而當形如
時，我們繼續採用線性規劃會導致誤差偏大，此時我們引入sigmoid函式（邏輯回歸函式）
sigmoid函式影象如下
sigmoid函式求導有如下性質：
theta更新方式為
perception(感知器)
其將邏輯回歸中的sigmod函式替換成閾值函式
更新方式同樣也是
機器學習基礎學習筆記（三）過擬合 欠擬合
以下內容均為https的學習筆記。上節說了經驗風險最小化準則 erm 過擬合與欠擬合理論均與其有關。所得 我們可以將機器學習看作乙個從有限 高維 有雜訊的資料上得到更一般性規律的泛化問題。簡單說 過擬合表現在對訓練資料依賴產生過度自信的效能，但對於測試集則能力不足，是 紙上談兵 根據大數定理可知，當...
機器學習（十六）欠擬合與過擬合
問題 訓練資料訓練的很好啊，誤差也不大，為什麼在測試集上面有問題呢？當演算法在某個資料集當 現這種情況，可能就出現了過擬合現象。那麼是什麼原因導致模型複雜？線性回歸進行訓練學習的時候變成模型會變得複雜，這裡就對應前面再說的線性回歸的兩種關係，非線性關係的資料，也就是存在很多無用的特徵或者現實中的事物...
機器學習（13）欠擬合與過擬合
應用 當演算法在某個資料集當 現這種情況，可能就出現了過擬合現象。那麼是什麼原因導致模型複雜？線性回歸進行訓練學習的時候變成模型會變得複雜，這裡就對應前面再說的線性回歸的兩種關係，非線性關係的資料，也就是存在很多無用的特徵或者現實中的事物特徵跟目標值的關係並不是簡單的線性關係。過擬合原因以及解決辦法...