部分資料**於網路，僅做個人學習之用
內部協變數偏移：深度神經網路的訓練在訓練時，先前的層的權值引數改變會導致層間輸入值的分布情況也隨之改變，這就使神經網路的訓練變得困難。也使我們只能使用較小的學習率、更謹慎的引數初始化，且訓練非線性模型變得非常困難。
訓練過程中，層間的權重會不斷改變和調整，而前面層權重引數的改變會影響後面層的輸入，當網路的深度很大時，層間的關聯性變得很高，前面層的一點改變積累到後面會是很大的影響。也就是經過前面層引數的改變，一層層積累下來，到某一層時的輸入值與上一次訓練（此次引數更新前）的輸入值的分布情況可能會有很大的差距。
而一般的深度神經網路都要求輸入變數在訓練資料和測試資料上的分布是相似的，這是通過訓練資料獲得的模型能夠在測試集獲得好的效果的乙個基本保障。當輸入的分布在引數更新前後有較大改變時，網路要去不斷的適應新的資料分布，進而使得訓練變得異常困難，我們只能使用乙個很小的學習速率和精調的初始化引數來解決這個問題。而且這個中間層的深度越大時，這種現象就越明顯。由於是對層間資料的分析，也即是內部（internal），因此這種現象叫做內部協變數偏移(internal covariate shift)。
將層間輸入值進行歸一化。而「批量」則是因為歸一化操作是對訓練的小批量資料進行的。
批量歸一化這一操作極大地提高了訓練的學習率，也使初始化的引數可以不那麼謹慎，是加速訓練的好方法。
cs231n筆記總結
cs231n的課程以及作業都完成的差不多了，後續的課程更多的涉及到卷積神經網路的各個子方向了，比如語義分割 目標檢測 定位 視覺化 遷移學習 模型壓縮等等。assignment3有涉及到這些中的一部分，但需要深入了解的話還是得看 了。所以在看 前把之前已學的知識，筆記和作業 一起做個整理。部落格裡主...
CS231n理解筆記
linear classification notes 該方法的組成 乙個是評分函式 原始影象資料到類別分值的對映 乙個是損失函式 用來量化 分類標籤的得分和真實標籤之間的一致性。影象分類的任務是從已有的固定分類標籤中選擇乙個並分配一張影象，我們介紹了knn分類器，該分類器的基本思想是通過將測試影象...
cs231n 學習 前言
吐槽 我為啥學這個 學這門課之前，到官網 要科學上網哦 查了下相關資訊，有部分需求 要求1，得會 python 且熟悉 c c 其實我是不會 python 的，但語言只是一種工具，不該成為鴻溝，且這麼流行的語言上手也不應該難吧 盲目自信一把 要求2，微積分和線性代數，嗯，這個不是問題。要求3，概率統...