按自己理解的 ↓ ↓
殘差就是 y-f(x) , 就好像殘差網路裡面就是用這個公式。
損失函式就是 根據需求定義的 對f(x)與y的差異的度量方法，這跟度量空間有關，比如 下面的情況，要你比較兩個學生誰更好，我們可以設定學習成績作為比較方法，或者身高等等，這些就好像歐幾里得距離，或者余弦距離一樣，是設定出來的的度量。 還有乙個是目標函式，有些時候目標函式就是損失函式，但是目標函式有些時候是更廣的概念，目標函式用作總體的優化目標，而損失函式有時只是目標函式的乙個部分而已（比如有時目標函式=損失函式+l2懲罰項）。
理解誤差和殘差
誤差 所有不同樣本集的均值的均值,與真實總體均值的偏離.由於真實總體均值通常無法獲取或觀測到,因此通常是假設總體為某一分布型別,則有n個估算的均值 表徵的是觀測 測量的精確度 誤差大,由異常值引起.表明資料可能有嚴重的測量錯誤 或者所選模型不合適,殘差 某樣本的均值與所有樣本集均值的均值,的偏離 表...
shortcut和殘差連線
最近搜尋了下這幾兩個概念，記錄一下個人理解。若沒有加入identity分支，那麼就是用非線性變化函式來描述乙個網路的輸入輸出，即輸入為x，輸出為f x f通常包括了卷積，啟用等操作。但是當我們強行將乙個輸入新增到函式的輸出的時候，雖然我們仍然可以用g x 來描述輸入輸出的關係，但是這個g x 卻可以...
深度殘差網路
深度殘差學習 deep residual learning 的思想 在residual net中 1 identity 為恒等對映，此條路徑一直存在 2 f x 為需要學習的殘差函式 residual function h x x f x 問題的重新表示或預處理會簡化問題的優化 假設我們期望的網路層...