因此需要延伸knn方法，這種方法主要有兩部分組成
learning params w,b
w,bw,
b，學習完成後，即可丟棄原始資料
既然影象被伸展成為了乙個高維度的列向量，那麼我們可以把影象看做這個高維度空間中的乙個點（即每張影象是3072維空間中的乙個點）。整個資料集就是乙個點的集合，每個點都帶有1個分類標籤。
關於權重w的另乙個解釋是它的每一行對應著乙個分類的模板（有時候也叫作原型）。一張影象對應不同分類的得分，是通過使用內積（也叫點積）來比較影象和模板，然後找到和哪個模板最相似。
將課程進度快進一點。這裡展示的是以cifar-10為訓練集，學習結束後的權重的例子。注意，船的模板如期望的那樣有很多藍色畫素。
有時也叫代價函式cost function或目標函式objective
得分到類別的對映
svm的損失函式想要svm在正確分類上的得分始終比不正確分類上的得分高出乙個邊界值δ
\delta
δ。針對第i個資料的多類svm的損失函式定義如下
關於0的閥值：max
(0,−
)max(0,-)
max(0,
−)函式，它常被稱為折葉損失（hinge loss）
我們對於**訓練集資料分類標籤的情況總有一些不滿意的，而損失函式就能將這些不滿意的程度量化。多類svm「想要」正確類別的分類分數比其他不正確分類類別的分數要高，而且至少高出delta的邊界值。如果其他分類分數進入了紅色的區域，甚至更高，那麼就開始計算損失。如果沒有這些情況，損失值為0。我們的目標是找到一些權重，它們既能夠讓訓練集中的資料樣例滿足這些限制，也能讓總的損失值盡可能地低。
【直觀詳解】什麼是正則化
防止overfitting
一點是能夠實現的，方法是向損失函式增加乙個正則化懲罰（regularization penalty）r(w
)r(w)
r(w)
部分。最常用的正則化懲罰是l2正規化，l2正規化通過對所有引數進行逐元素的平方懲罰來抑制大數值的權重：
給出完整的多類svm損失函式了，它由兩個部分組成：資料損失（data loss），即所有樣例的的平均損失l
il_i
li，以及正則化損失（regularization loss）。完整公式如下所示：
λ是超引數，需要交叉驗證求出來
softmax 筆記
保留得分函式fyi
f_fy
i部分，將hinge loss 換成交叉熵loss
zz中的），函式對其進行壓縮，輸出乙個向量，其中每個元素值在0到1之間，且所有元素之和為1。
svm分類器將它們看做是分類評分，它的損失函式鼓勵正確的分類（本例中是藍色的類別2）的分值比其他分類的分值高出至少乙個邊界值。
softmax分類器將這些數值看做是每個分類沒有歸一化的對數概率，鼓勵正確分類的歸一化的對數概率變高，其餘的變低。
SVM入門 線性分類器（2）
線性分類器 一定意義上,也可以叫做感知機 是最簡單也很有效的分類器形式.在乙個線性分類器中,可以看到svm形成的思路,並接觸很多svm的核心概念.用乙個二維空間裡僅有兩類樣本的分類問題來舉個小例子。如圖所示 c1和c2是要區分的兩個類別，在二維平面中它們的樣本如上圖所示。中間的直線就是乙個分類函式，...
CS231n Lecture2 線性分類
1 概述 我們將要實現一種更強大的方法來解決影象分類問題，該方法可以自然地延伸到神經網路和卷積神經網路上。這種方法主要有兩部分組成 乙個是評分函式 score function 它是原始影象資料到類別分值的對映。另乙個是損失函式 loss function 它是用來量化 分類標籤的得分與真實標籤之間...
線性分類器和非線性分類器
線性和非線性的區別 1.線性linear，指量與量之間按比例 成直線的關係，在數學上可以理解為一階導數為常數的函式 非線性non linear則指不按比例 不成直線的關係，一階導數不為常數。2.線性的可以認為是1次曲線，比如y ax b 即成一條直線 非線性的可以認為是2次以上的曲線，比如y ax ...