線性分類器分3個小節介紹，本章內容接上一章：（二）線性分類器-上
損失函式
在上一節，我們定義了從影象到每個類別的評分函式。對於評分函式，我們可以調整引數w和b，使的評分函式的值與真實類別一致，即評分函式在影象的真實類別有最高的評分。這就用到了損失函式（代價函式、目標函式），損失函式是用來衡量評分函式的值與真實的值之間差異的大小，也可以理解為我們對結果的滿意程度。當評分函式與真實結果之間差異很大，損失函式的值越大，反之，則越小。
總而言之，我們對於**訓練集資料分類標籤的情況總有一些不滿意的，而損失函式就能將這些不滿意的程度量化。
多類支援向量機損失
損失函式有很多，下面我們介紹的是比較常用的多類支援向量機（svm）損失函式，公式如下：
舉例：用乙個例子演示公式是如何計算的。假設有3個分類，並且得到了分值
可以看到第乙個部分結果是0，這是因為[-7-13+10]得到的是負數，經過
當閾值為0時，這個損失函式常被稱為折葉損失（hinge loss）。有時，我們還會將這個損失進行平方，叫做平方折葉損失svm。即
如圖，當不正確的類別的分值都在這個紅色區域的左邊時，我們的損失值就為0。但如果不正確的類別的分值在在紅色區域，或者更高，這時候，我們就開始計算損失值。我們的目標就是找到乙個合理的引數w，b，來讓我們的損失值盡可能的低。
正則化
上面的損失函式有乙個問題，假如有乙個權重w能正確的分類我們的資料，且滿足我們設定的邊界。但這個w卻不唯一：可能會有很多相似的權重w都滿足我們的目標。舉個例子：假如有乙個w能正確分類所有資料，即損失值為0。那麼當w乘以2將使得差距變成30。
我們的做法是向損失函式增加乙個正則化懲罰，最常用的正則化懲罰是l2正規化，即通過對每個引數進行平方後再相加。
這樣，完整的多類svm損失函式就包括了兩部分：資料損失和正則化損失
引入正則化懲罰還帶來很多良好的性質，這些性質大多會在後續章節介紹。比如引入了l2懲罰後，svm們就有了最大邊界（max margin）這一良好性質。
其中最好的性質就是對大數值權重進行懲罰，可以提公升其泛化能力，因為這就意味著沒有哪個維度能夠獨自對於整體分值有過大的影響。舉個例子，假設輸入向量這一效果將會提公升分類器的泛化能力，並避免過擬合。
需要注意的是，和權重不同，偏差沒有這樣的效果，因為它們並不控制輸入維度上的影響強度。因此通常只對權重
有了評分函式，損失函式，接下來我們要做的，就是找到能使損失值最小化的權重了。
（二）線性分類器 上
線性分類概述 這次我們介紹一種更強大的方法來解決影象分類問題，這個方法主要有兩部分 評分函式，它將對影象進行每個類別的評分。另外一部分是損失函式，它將衡量類別得分與真實標籤之間的差異。最終將影象分類問題轉化為乙個最優化問題，在優化過程中，一步一步更新評分函式的引數來減低我們的損失函式值。從影象到標籤...
SVM入門（二）線性分類器Part 1
線性分類器 一定意義上,也可以叫做感知機 是最簡單也很有效的分類器形式.在乙個線性分類器中,可以看到svm形成的思路,並接觸很多svm的核心概念.用乙個二維空間裡僅有兩類樣本的分類問題來舉個小例子。如圖所示 c1和c2是要區分的兩個類別，在二維平面中它們的樣本如上圖所示。中間的直線就是乙個分類函式，...
SVM（二）線性分類器的求解 問題的描述
上節說到我們有了乙個線性分類函式，也有了判斷解優劣的標準 即有了優化的目標，這個目標就是最大化幾何間隔，但是看過一些關於svm的 的人一定記得什麼優化的目標是要最小化 w 這樣的說法，這是怎麼回事呢？回頭再看看我們對間隔和幾何間隔的定義 間隔 y wx b g x 幾何間隔 可以看出 w 幾何。注意...