線性分類概述：
這次我們介紹一種更強大的方法來解決影象分類問題，這個方法主要有兩部分：評分函式，它將對影象進行每個類別的評分。另外一部分是損失函式，它將衡量類別得分與真實標籤之間的差異。最終將影象分類問題轉化為乙個最優化問題，在優化過程中，一步一步更新評分函式的引數來減低我們的損失函式值。
從影象到標籤分值的引數化對映
在這個方法中，我們首先定義乙個評分函式，這個函式將影象的畫素值對映為每個類別的得分，得分的高低代表影象是這個類別的可能性高低。我們先從簡單的線性對映開始：
在這個公式中，xi是我們的輸入影象，假如大小為32*32畫素，則xi可被拉成乙個長度為d=32*32*3=3072的列向量（三個顏色通道），即[3072 x 1]，然後w，b是這個評分函式的引數，w稱為權重，b稱為偏差向量。假設我們要分類的類別數是10，則w為大小[10 x 3072]的矩陣，b的大小為[10 x 1]。我們將輸入影象（3072）輸入函式，函式將會輸出10個數字，這10個數字就代表了每個類別的分值。通過這種方式，我們就將輸入影象對映到類別標籤的分值。
需要注意：
理解線性分類器
我們舉乙個影象對映到分類分值的例子：為了方便，我們假設影象只有4個畫素（黑白畫素，不考慮rgb通道），3個分類，紅色代表貓， 綠色代表狗，藍色代表船。首先我們把影象畫素拉伸為乙個列向量，然後與w進行矩陣乘，最後加上偏置b，就得到了各個類的分值。在這個例子中，這個w，b引數非常不好，因為貓的分值很低，狗的分值卻很高，演算法把影象錯誤分類成了狗。後面，我們會介紹應該怎麼調整w，b引數，使得演算法能正確分類影象。
關於w，b的幾何解釋
當我們把影象拉伸為乙個高維度的列向量時，其實就相當於我們把這張影象嵌入到了乙個高維空間，影象代表高維空間中的乙個點，每個點都帶有乙個分類標籤。每個類別的得分值其實就是這個空間中的乙個線性函式的函式值。我們無法視覺化這個高維空間，但假如我們把這些維度擠壓成二維，我們就能知道這些分類器在做什麼了。
這是影象空間的示意圖。其中每個影象是乙個點，有3個分類器。以紅色的汽車分類器為例，紅線表示空間中汽車分類分數為0的點的集合，紅色的箭頭表示分值上公升的方向。所有紅線右邊的點的分數值均為正，且線性公升高。紅線左邊的點分值為負，且線性降低。w的每一行是乙個分類類別的分類器，當我們調整w的時候，就代表著這個分類器在空間中對應的直線向著不同的方向旋轉，偏差b則代表直線的平移。優化的過程就是不斷的旋轉，平移這條直線，直到達到我們的分類目標。
將線性分類器看做模板匹配
關於權重w還有另外一種解釋，它的每一行對應著乙個分類的模板。一張影象對應不同分類的得分，是通過使用內積（也叫點積）來比較影象和模板，然後找到和哪個模板最相似。從這個角度來看，線性分類器就是在利用學習到的模板，針對影象做模板匹配。而且我們會使用（負）內積來計算向量間的距離，而不是使用l1或者l2距離。
這裡展示的是以cifar-10為訓練集，學習結束後的權重的例子。注意，船的模板如期望的那樣有很多藍色畫素。如果影象是一艘船行駛在大海上，那麼這個模板利用內積計算影象將給出很高的分數。
可以看到馬的模板看起來似乎是兩個頭的馬，這是因為訓練集中的馬的影象中馬頭朝向各有左右造成的。線性分類器將這兩種情況融合到一起了。類似的，汽車的模板看起來也是將幾個不同的模型融合到了乙個模板中，並以此來分辨不同方向不同顏色的汽車。這個模板上的車是紅色的，這是因為cifar-10中訓練集的車大多是紅色的。線性分類器對於不同顏色的車的分類能力是很弱的，但是後面可以看到神經網路是可以完成這一任務的。神經網路可以在它的隱藏層中實現中間神經元來探測不同種類的車（比如綠色車頭向左，藍色車頭向前等）。而下一層的神經元通過計算不同的汽車探測器的權重和，將這些合併為乙個更精確的汽車分類分值。
偏差和權重的合併技巧
有時，為了簡化，我們會把w和b引數合併為乙個矩陣。做法是將所有輸入向量的維度增加1個含常量1的維度，並且在權重矩陣中增加乙個偏差列。這樣我們就只需要學習乙個合併後的權重w。
（二）線性分類器 中
線性分類器分3個小節介紹，本章內容接上一章 二 線性分類器 上 損失函式 在上一節，我們定義了從影象到每個類別的評分函式。對於評分函式，我們可以調整引數w和b，使的評分函式的值與真實類別一致，即評分函式在影象的真實類別有最高的評分。這就用到了損失函式 代價函式 目標函式 損失函式是用來衡量評分函式的...
SVM入門（二）線性分類器Part 1
線性分類器 一定意義上,也可以叫做感知機 是最簡單也很有效的分類器形式.在乙個線性分類器中,可以看到svm形成的思路,並接觸很多svm的核心概念.用乙個二維空間裡僅有兩類樣本的分類問題來舉個小例子。如圖所示 c1和c2是要區分的兩個類別，在二維平面中它們的樣本如上圖所示。中間的直線就是乙個分類函式，...
SVM（二）線性分類器的求解 問題的描述
上節說到我們有了乙個線性分類函式，也有了判斷解優劣的標準 即有了優化的目標，這個目標就是最大化幾何間隔，但是看過一些關於svm的 的人一定記得什麼優化的目標是要最小化 w 這樣的說法，這是怎麼回事呢？回頭再看看我們對間隔和幾何間隔的定義 間隔 y wx b g x 幾何間隔 可以看出 w 幾何。注意...