（二）
這部分講的是感知機，簡單來說就是二類分類的線性分類模型，是神經網路和支援向量機的基礎。
首先給出感知機的定義：
定義1：假設輸入空間(特徵空間)是x ，輸出空間是y，y取值為-1或1，輸入x 表示例項的特徵向量， 對應於輸入空間(特徵空間〉的點:輸出y表示例項的類別，由輸入空間到輸出空間的如下函式就稱為感知機。
f(x)=sign(w*x+b)
簡單來說就是找到乙個超平面將資料集的正負例項分開。
而感知機的任務就是想方設法的找出這個超平面。
這裡再插入乙個定義，資料集的線性可分性：
為什麼要引入這個定義？因為感知機的前提是訓練資料集是線性可分的。
接下來，我們來定義損失函式：
首先寫出輸入空間中任一點x0到超平面s的距離：
其中||w||為w的l2範數。
其次，對於誤分類的資料（xi,yi）來說
-yi(w*xi+b)>0
這樣的話，xi到超平面s的距離就可以寫成
這樣，假設超平面s 的誤分類點集合為m. 那麼所有誤分類點到超平面s 的總距離為
不考慮左邊的係數，我們就得到了感知機學習的損失函式
這個損失函式就是感知機學習的經驗風險函式。
那麼接下來，我們就要求極小化這個損失函式的解
這裡我們採用經典的隨機梯度下降法，首先，任意選取乙個超平面w0,b0，然後用梯度下降法不斷地極小化目 標函式，極小化過程中不是一次使m 中所有誤分類點的梯度下降，而是一次隨機選取乙個誤分類點使其梯度下降。
先求出損失函式的梯度
隨機選取乙個誤分類點（xi,yi），對w,b進行更新：
接下來給出感知機學習演算法的整個流程：
整個演算法意思就是，當有點被誤分的時候，根據隨機梯度下降法公式對w,b進行更新，以減少該誤分點與超平面s之間的距離，一直到超平面越過誤分點使其被正確分類。
注1：隨機梯度下降法，是向負梯度方向進行的，所以迭代公式裡 為 + 號。
注2：從演算法流程中，也可看出，感知機存在許多解，既依賴於初值的選擇，也依賴於迭代過程中誤分點的選擇順序。
統計學習方法筆記二
假設學習到的模型是 y f x y f x 訓練誤差是模型關於訓練資料集的平均損失 re mp f 1 n ni 1l yi,f xi r em p f 1n i 1 nl y i,f xi 測試誤差是模型關於測試資料集的平均損失 et ext 1n n i 1l y i,f xi ete xt 1...
統計學習方法筆記1 統計學習方法概論
統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...
統計學習方法筆記
1.損失函式 期望，就是均值 極大似然估計 似然就是概率 可能性，所以也是極大可能性估計 對數損失是用於最大似然估計的。一組引數在一堆資料下的似然值，等於每一條資料的概率之積。而損失函式一般是每條資料的損失之和，為了把積變為和，就取了對數 再加個負號是為了讓 最大似然值和 最小損失對應起來 w 是w...