1、概述
我們將要實現一種更強大的方法來解決影象分類問題，該方法可以自然地延伸到神經網路和卷積神經網路上。這種方法主要有兩部分組成：乙個是評分函式（score function），它是原始影象資料到類別分值的對映。另乙個是損失函式（loss function），它是用來量化**分類標籤的得分與真實標籤之間一致性的。該方法可轉化為乙個最優化問題，在最優化過程中，將通過更新評分函式的引數來最小化損失函式值。
2、從影象到標籤分值的引數化對映
該方法的第一部分就是定義乙個評分函式，這個函式將影象的畫素值對映為各個分類類別的得分，得分高低代表影象屬於該類別的可能性高低。
3、理解線性分類器
線性分類器計算影象中3個顏色通道中所有畫素的值與權重的矩陣乘，從而得到分類分值。根據我們對權重設定的值，對於影象中的某些位置的某些顏色，函式表現出喜好或者厭惡（根據每個權重的符號而定）。
將影象看做高維度的點：既然影象被伸展成為了乙個高維度的列向量，那麼我們可以把影象看做這個高維度空間中的乙個點（即每張影象是3072維空間中的乙個點）。整個資料集就是乙個點的集合，每個點都帶有1個分類標籤。既然定義每個分類類別的分值是權重和影象的矩陣乘，那麼每個分類類別的分數就是這個空間中的乙個線性函式的函式值。w的每一行都是乙個分類類別的分類器。對於這些數字的幾何解釋是：如果改變其中一行的數字，會看見分類器在空間中對應的直線開始向著不同方向旋轉。而偏差b，則允許分類器對應的直線平移。需要注意的是，如果沒有偏差，無論權重如何，在xi=0時分類分值始終為0。這樣所有分類器的線都不得不穿過原點。
將線性分類器看做模板匹配：關於權重w的另乙個解釋是它的每一行對應著乙個分類的模板（有時候也叫作原型）。一張影象對應不同分類的得分，是通過使用內積（也叫點積）來比較影象和模板，然後找到和哪個模板最相似。從這個角度來看，線性分類器就是在利用學習到的模板，針對影象做模板匹配。從另乙個角度來看，可以認為還是在高效地使用k-nn，不同的是我們沒有使用所有的訓練集的影象來比較，而是每個類別只用了一張（這張是我們學習到的，而不是訓練集中的某一張），而且我們會使用（負）內積來計算向量間的距離，而不是使用l1或者l2距離。
偏差和權重的合併技巧：權重矩陣增加一列偏差值，xi增加一項常數值1。將原來的先做矩陣乘法，再做矩陣加法合併為只做矩陣乘法，簡化計算。
影象資料預處理：[0,255]–[-127,127]–[-1,1]
即原始畫素值–中心化–零均值的中心化
4、損失函式
我們將使用損失函式（loss function）（有時也叫代價函式cost function或目標函式objective）來衡量我們對結果的不滿意程度。直觀地講，當評分函式輸出結果與真實結果之間差異越大，損失函式輸出越大，反之越小。
5、多類支援向量機損失
損失函式的具體形式多種多樣。首先，介紹常用的多類支援向量機損失函式（ multiclass support vector machine loss）。svm的損失函式想要svm在正確分類上的得分始終比不正確分類上的得分高出乙個邊界值delta。
s：分值
折葉損失（hinge loss）：max(0,-)
平方折葉損失svm（l2-svm）：max(0,-)^2
我們對於**訓練集資料分類標籤的情況總有一些不滿意的，而損失函式就能將這些不滿意的程度量化。
6、正則化
我們希望能向某些特定的權重w新增一些偏好，對其他權重則不新增，以此來消除模糊性。這一點是能夠實現的，方法是向損失函式增加乙個正則化懲罰（regularization penalty）。常用的正則化懲罰是l2正規化，l2正規化通過對所有引數進行逐元素的平方懲罰來抑制大數值的權重。
完整的多類svm損失函式=資料損失+正則化損失
7、softmax分類器
cs231n lecture 2 課程筆記
key knn，線性分類器，資料驅動 1.nearest neighbor 最近鄰居分類器 分訓練集和測試集 資料集 cifar10 匹配方法 l1 distance or 曼哈頓距離 對應位置畫素之差的絕對值加和，最小即最近 2.k nearest neighbor knn 由k個最近鄰居投票得出...
CS231n作業2中Cython相關問題的處理
最近磨磨蹭蹭地學著cs231n，看著滿螢幕 不禁感慨stanford大神們當真深不可測，作業是以挖空形式給出的。這麼多 要讓博主從頭寫，那還不得寫到天荒地老 博主使用的是2016年的教學錄影和作業。錄影是網易雲課堂上大資料文摘做的中文版，配合知乎的杜客他們在專欄上發布的教程翻譯使用。cs231n的作...
cs231n學習之路 2 線性分類器
最簡單的線性分類器 f x w,b wx bf x,w,b wx b f x,w,b w x bw和b是訓練引數。x是輸入資料。在公式中，x和b是向量，x是單個樣本reshape之後的向量，b的長度和類別數目一致，w是矩陣。所以我們想將線性分類器應用到影象上，就必須先將影象reshape為乙個向量。...