支援向量：
support vector 是距離分類決策邊界最近的樣本點（向量點）。
通過支援向量，可以找到最大分類間隔下權向量，從而達到一種比價理想的分類決策函式。
支援向量機：support vector machine（svm）
什麼是最優解？
使得分類間隔d取得最大值的權向量w。
svm的優點：
它不需要大量的樣本，最終解僅由少量支援向量決定。
它具有很強的泛化能力。
兩種風險描述：
經驗風險：錯誤分類樣本集中的樣本的比例
結構風險：乙個訓練好的分類器在面對未知樣本時分類錯誤的概率
如果一味追求經驗風險最小，那麼可能出現過擬合情況，比如對於邊界是「犬牙互動」形狀時，這樣的結果就不是很好。
vc維：
定義：一類函式所具有的分類能力。
線性分類器的vc維是3，而二次函式分類器的vc維至少是4。
李哈哈的模式識別筆記 part 3 感知器演算法
人類的思維具有整體性和邏輯性，機器的思維擅長重複性 解區域 線性判別函式解不唯一，而是位於乙個區域，稱為解區域。權向量w待定，偏移量w0待定。一般思路 這裡有必要重新認識一下線性判別函式的通式，可參照下圖 感知器模型 是一種最簡單的神經元模型，具有多個輸入和乙個輸出，各輸入加權求和，與閾值相比較，判...
《模式識別》自學筆記 （二）基於統計的模式識別
解決模式識別問題的方法主要歸納為基於知識的方法和基於資料的方法兩大類。基於知識的方法，主要是以專家系統為代表的方法。其基本思想是根據人們已知的關於研究物件的知識，整理出若干描述特徵與類別間關係的準則，建立一定的計算機推理系統，對未知樣本通過這些知識推理決策類別。以專家系統為例，專家系統的組成部分包括...
模式識別學習筆記（一）模式識別初認識
這是本人第一次寫部落格，把學到的東西以及自己的理解用類似於學習筆記的形式表達出來。如果有不妥的地方，希望大家指正。謝謝！一 模式識別的定義 關於模式識別 pattern recognition 的定義，首先要了解模式和識別分別是什麼含義。有教材指出模式是指組成成分或影響因素間存在確定性或隨機性規律的...