karpathy的33個神經網路「煉丹」技巧學習筆記
神經網路訓練trick
理解深度學習中的學習率及多種選擇策略，目前學習率呈現乙個good learning rate曲線
遷移學習技巧以及如何更好的finetune 模型經驗總結
域遷移（domain bias）問題：目前選用的是方法一。
網路的淺層共享和高層共享：本例子使用的是淺層共享吧
遷移學習在深度學習中的應用
學界 | 綜述**：四大類深度遷移學習
a.上下取樣 使得數量保持一致，或者擴充小樣本資料
b.在loss function上做文章，比如focal loss
深度學習訓練資料不平衡問題，怎麼解決？
深度學習: 處理不平衡樣本
如何在非平衡資料集上訓練深度神經網路
再談類別不平衡問題：調節權重與魔改loss的綜合分析
機器學習中欠擬合和過擬合/上取樣和下取樣
4.超引數優化
dropout、梯度消失/**、adam優化演算法，神經網路優化演算法看這一篇就夠了
如何區分並記住常見的幾種 normalization 演算法
由dead relu引發的思考：正則化演算法漫談
神經網路訓練
學習了bp神經網路演算法，剛開始最終要的一點不明白的就是前一層和後一層 這裡指的只有三層，輸入層，隱藏層，輸出層 的權重，其實神經網路演算法中，前一層的每乙個節點和後一層的每乙個節點都有連線權重，初始權重是隨機的。而更新權重是通過輸出層的值來反向更新的。基本過程如下 1.輸入第乙個訓練樣本 對應的就...
神經網路訓練技巧
1 學習速率。首先設學習速率為乙個較大的值，確保training cost在不斷下降。當accuracyy在n個epoch內不再增加時，使得學習速率減小一半。重複迭代，直到學習速率變成原來的1 1024。2 學習速率要根據訓練cost調。但是網路層數和神經元數目，mini batch size要根據...
神經網路的訓練
既然我們希望網路的輸出盡可能的接近真正想要 的值。那麼就可以通過比較當前網路的 值和我們真正想要的目標值，再根據兩者的差異情況來更新每一層的權重矩陣 比如，如果網路的 值高了，就調整權重讓它 低一些，不斷調整，直到能夠 出目標值 因此就需要先定義 如何比較 值和目標值的差異 這便是損失函式或目標函式...