1、間隔與支援向量
分類學習最基本的想法就是基於訓練集d在樣本空間中找到乙個劃分超平面，將不同型別的樣本分開。
距離超平面最近的幾個訓練樣本點使得等式（6.3）p122成立，他們被稱為「支援向量」（support vector）,兩個異類向量到超平面的距離之和，稱為「間隔」（margin）
欲找到具有「最大間隔」（maximum margin）的劃分超平面。
支援向量機（support vector machine——svm）的基本型。
2、對偶問題（dual problem）
凸二次規劃（convex quadratic programming）
拉格朗日乘子法
支援向量機這個名字強調了此類學習器的關鍵是如何從支援向量構建出解，同時暗示其複雜度主要與支援向量的數目有關。
smo（sequential minimal optimization）
3、核函式
原始樣本空間內也許並不存在乙個能正確劃分兩類樣本的超平面，對於這樣的問題，可將樣本從原始空間對映到乙個更高維的特徵空間，使得在這個特徵空間內線性可分。幸運的是，如果原始空間是有限維，即屬性數有限，那麼一定存在乙個高維特徵空間使得樣本可分。
核技巧（kernel trick）模型最優解可通過訓練樣本的核函式展開，亦稱「支援向量展開」（support vector expansion）
我們希望樣本在特徵空間內線性可分，因此特徵空間的好壞對支援向量機的效能至關重要。「核函式選擇」成為支援向量機的最大變數。常用核函式：線性核、多項式核、高斯核、拉普拉斯核、sigmoid核。
4、軟間隔與正則化
前面的討論中，我們一直假定訓練樣本空間或特徵空間中是線性可分的，即存在乙個超平面能將不同類的樣本完全劃分開。然而現實人物中很難確定合適的核函式是的訓練樣本在特徵空間中線性可分；即使恰好找到某個核函式使得訓練樣本在特徵空間中線性可分，也很難斷定這個貌似線性可分的結果不是由於過擬合造成的。環節該問題的乙個辦法是允許支援向量機在一些樣本上出錯，因此，引入「軟間隔」（soft margin）概念。
「硬間隔」（hard margin）要求所有樣本均滿足約束，即所有樣本必須劃分正確。soft margin 允許某些樣本不滿足約束。
軟間隔支援向量機每個樣本引入鬆弛變數（slack variables）用以表徵該樣本不滿足約束的程度。
5、支援向量回歸（support vector regression——svr）
6、核方法
一系列基於核函式的學習方法，統稱為「核方法」（kernel methods）最常見的，通過「核化」（即引入核函式來將現行學習器拓展為非線性學習器）。通過核化對線性判別分析進行非線性拓展，從而得到「核線性判別分析」（kernelized linear discriminant analysis——klda）
第六章讀書筆記
linux系統將每個驅動都對映成乙個檔案，這些檔案稱為裝置檔案或驅動檔案，都儲存在 dev目錄中。編寫linux驅動程式的步驟 第1 步 建立linu x 驅動骨架 裝載和解除安裝linu x 驅動 第2 步 註冊和登出裝置檔案 第3 步z 指定與驅動相關的資訊 第4 步 指定 函式 第5 步z 編...
第六章 讀書筆記
第六章主要講的是第乙個linux 驅動程式 統計單詞個數。從這章開始進入了實戰階段，這一章首先介紹了linux 驅動的工作方式，linux 將每乙個驅動都對映成乙個檔案，這些檔案被稱為裝置檔案或驅動檔案，都儲存在 dev 目錄中，使得 linux 驅動互動就像是普通檔案互動一樣。編寫linux 驅動...
C Primer 讀書筆記 第六章
第 章 語句 簡單語句 表示式語句 expression r statement 乙個表示式加上結尾的分號，執行時導致該表示式被求值 空語句 null statement 只由乙個單獨的分號組成，當語法上需要乙個語句但邏輯上並不需要時使用 宣告語句 用於宣告或定義物件或類 復合語句 復合語句 com...