引言：當兩類樣本線性可分時，針對我們之前學習的感知機而言，存在多個超平面能將資料分開，這裡要討論什麼樣的分類面最好的問題。為此，我們形式化的定義了最優分類超平面，他有兩點特徵:1.能將訓練樣本沒有錯誤的分開；2.在樣本中距離超平面最近的樣本與超平面之間的距離最大。
1.沒有錯誤的分開：
對尺度影響的消除，可以將第一行式子中的0看成1e-6這種很小的數，而後下乙個是式子則是對其進行放縮到1而得到的結果。
如果按照1.中所述，我們討論的點中距離分類面最近的要落在|g(x)|=1上，那麼
至此，我們得到了
一.線性可分支援向量機的數學表達形式：
求解上面這個優化問題：
1.將有約束優化問題通過拉格朗日乘子法轉換為無約束的問題。（這裡要討論這個不等式約束與等式約束在向無約束問題進行轉換時的異同，在pr&ml附錄e（p708）中有詳細討論，過程略掉，結果是針對上述不等式約束問題，轉換成了下面拉格朗日可變因子問題）
2.對 lp中w,b令其一階導數等於0，（注 ||w||的求導問題，有很多參考資料把目標函式寫成||w||*||w||/2的形式了）
3.w,b帶人lp得得到其對偶形式ld，及kkt條件，
kkt條件:
這裡對alpha的求解可以看成是凸二次優化問題，理論講解部分在《最優化理論方法》第九章中較為詳細（沒看懂），在matlab中有函式可以直接求解 ，把上面的函式對應到
中，然後使用 x = quadprog(h,f,a,b,aeq,beq,lb,ub,x0)，進行求解即可。
4.得到alpha之後通過2.中的等式求解w
5.根據kkt條件中的第二個
如果我們求解得到的alpha中，
，那麼，這個時候的樣本就是我們要找的支援向量。
二.線性支援向量機與軟間隔最大化
同樣要解其對偶問題
隨之而來的問題就是如何選擇c
模式識別課程筆記（一）
閱讀目錄 一 模式識別 pattern recognition 二 模式識別型別 三 模式識別系統 四 評價標準 一 模式識別 pattern recognition 人類在識別和分辨事物時，往往是在先驗知識和以往對此類事物的多個具體例項觀察基礎上產生的整體性質和特徵的認識。其實，每一種外界事物都可...
模式識別課程學習筆記（一）
本意 提供模仿用的 完美的標本。pr領域定義 存在於空間和時間中可觀測事物的全體。個人理解 可以通過各種手段獲取與採集 到的事物。模式類 由彼此相似的模式構成的集合。物以類聚，人以群分 模式類別 賦予每個模式類的識別符號。個人理解就是所屬模式類的標籤 觀測樣本 被觀測事物的分布資訊。試驗 為獲取觀測...
模式識別課程問答（一）
為了能讓機器執行和完成識別任務，必須對分類識別物件進行科學的抽象，建立它的數學模型，用以描述和代替識別物件，這種物件的描述即為模式。表現形式有特徵向量 符號串 圖 關係式。模式識別是指根據研究物件的特徵或屬性，運用一定的分析演算法認定其類別，並且分類識別的結果應盡可能地符合真實。具有視覺的機械人 包...