1、感知機學習的目的：求得乙個能夠將訓練集正例項點和負例項點完全正確分開的分離超平面，該平面不唯一。
2、使用的決策函式：f(x) = sign(w · x + b)
3、使用的最優化方法：隨機梯度下降法。
4、感知機學習的策略：在假設空間中選取使損失函式式最小的模型引數w和b，即感知機模型。
5、感知機學習演算法：感知機學習演算法是誤分類驅動的，即當乙個例項點被誤分類，也就是位於超分離平面的錯誤一側時，則調整w和b的值，使分離超平面向該誤分類點的一側移動，以減少該誤分類點與超平面間的距離，直至超平面越過該誤分類點使其被正確分類。演算法分為原始形式和對偶形式。
1、學習的目標：一般地，當訓練資料集線性可分時，存在無窮個分離超平面可將兩類資料正確分開。感知機利用誤分類最小的策略，求得分離超平面，不過這時的解有無窮多個。線性可分支援向量機利用間隔最大化求最優分離超平面，這時解是唯一的。
2、學習策略：硬間隔最大化
3、學習演算法：求解凸二次規劃的最優化解法，對應於感知機，演算法也分為原始形式和對偶形式。
非線性分類問題是指通過利用非線性模型才能良好地進行分類的問題，由上圖可見，無法用直線（線性模型）將正負例項正確分開，但可以用一條橢圓曲線（非線性模型）將它們正確分開。非線性問題往往不好求解，所以希望能用解線性分類問題的方法來解決這個問題。所採用的方法是進行乙個非線性變換，將非線性問題變換為線性問題，通過解變換後的線性問題的方法求解原來的非線性問題。
1、用線性分類方法求解非線性分類問題分為兩步：首先使用乙個變換將原空間的資料對映到新空間；然後在新空間裡用線性分類學習方法從訓練資料中學習分類模型。核技巧就屬於這樣的方法。
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...