深度學習入門課程學習筆記03 損失函式

損失函式：在前面一節咱們介紹了得分函式，就是給定乙個輸入，對於所有類別都要給出這個輸入屬於該類別的乙個分值，如上圖所示，對於每乙個輸入咱們都有了它屬於三個類別的得分，但是咱們光有這個得分卻不知道如何來評判現在的乙個分類效果，這節課咱們就要用損失函式來評估分類效果的好壞，而且不光是好壞還要表現出來有多好有多壞！

我們接下來就拿svm的損失函式來說事吧。什麼？你不知道svm是啥？沒關係，我會用很簡單的語言來說這個損失函式的。對於svm來說它的損失函式如上圖的公式所示，我們要算的就是對於乙個輸入樣本，這個樣本的正確分類的分值和其他所有錯誤分類的分值的差值，再把這些所有的差值進行求和。我們拿這個小貓來舉例吧，就是用它正確分類的分3.2與其它錯誤分類的得分5.1和-1.7求差值，再把求得的差值和0進行對比，如果大於0就加在最終的loss值上。細心的同學可能發現了上面的公式還加了乙個數值1，那麼這個數值代表著什麼呢？它的意思啊就是說咱們求出的得分差異值還要去和咱們的滿意程度進行比較，這個1就代表了咱們的滿意程度有多大，這個值越大呢就說明咱們的要求越高。

圖中紅色的區域就是咱們的滿意程度，一旦錯誤分類的得分（綠色區域）超過了紅色值，就是說沒達到咱們設定的滿意程度值，loss值就要開始增加了。

正則化：假設有乙個樣本x=[1,1,1,1]，現在咱們有兩組權重引數w1和w2如上圖所示，這樣對於得分值wx，兩組權重引數得出的結果都一樣，但是分值一樣能說明這兩個引數模型的分類效果一模一樣嗎？接下來就引入了咱們的正則化項來解決這個問題，正則化就是對權重引數進行懲罰，目的就是找到一組更平滑的引數項。正則化項的結果就是對於不同權重引數w進行不同力度的懲罰，懲罰也就是增加其loss值。正則化對於整個分類模型來說非常重要，可以很有效的抑制了過擬合現象。

loss終極版：由loss最終版的公式可以看到。loss是由兩部分組成的，一部分是得分函式對應的loss值另乙個部分是正則化懲罰項的loss值。

深度學習入門課程筆記03 損失函式

損失函式 在前面一節咱們介紹了得分函式，就是給定乙個輸入，對於所有類別都要給出這個輸入屬於該類別的乙個分值，如上圖所示，對於每乙個輸入咱們都有了它屬於三個類別的得分，但是咱們光有這個得分卻不知道如何來評判現在的乙個分類效果，這節課咱們就要用損失函式來評估分類效果的好壞，而且不光是好壞還要表現出來有多...

深度學習入門課程學習筆記01 概述

首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...

深度學習入門課程筆記01 概述

首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...