交叉熵只關心對正確類別的**概率，因為只要其值足夠大，就可以確保分類結果正確，而平方損失則過於嚴格，例如y(i)1=y(i)2=0比y(i)1=0,y(i)2=0.4的損失要小很多，雖然兩者都有同樣正確的分類**結果。
正則化通過為模型損失函式新增懲罰項使學出的模型引數值較小，是應對過擬合的常用手段。
權重衰減是在模型原損失函式基礎上新增l2範數懲罰項，從而訓練所需要最小化的函式。通常會使學到的權重引數的元素較接近0（λ較大時）.
損失函式變為：
迭代方式變為：
丟棄法：對該隱藏層使用丟棄法時，該層的隱藏單元將有一定概率被丟棄掉。設丟棄概率為p， 那麼有p的概率hi會被清零，有1−p的概率hi會除以1−p做拉伸。丟棄概率是丟棄法的超引數。
正向傳播是指對神經網路沿著從輸入層到輸出層的順序，依次計算並儲存模型的中間變數（包括輸出）
反向傳播指的是計算神經網路引數梯度的方法。總的來說，反向傳播依據微積分中的鏈式法則，沿著從輸出層到輸入層的順序，依次計算並儲存目標函式有關神經網路各層的中間變數以及引數的梯度。
動手學深度學習之深度學習基礎
資料集的形式主要有三種 訓練集測試集 測試資料集不可以用來調參 驗證集 k折交叉驗證 把原始資料分成k組，每次訓練時，使用k 1個子資料集訓練，使用乙個作為驗證，最後通過k次求取訓練誤差和驗證誤差的平均。過擬合 overfitting 模型的訓練誤差遠小於它在測試資料集上的誤差 欠擬合 underf...
動手學深度學習
線性回歸的基本要素 模型 為了簡單起見，這裡我們假設 只取決於房屋狀況的兩個因素，即面積 平方公尺 和房齡 年 接下來我們希望探索 與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係 price warea area wage age b price warea area wage a...
深度學習 動手學深度學習筆記 12
g是乙個生成的網路，它接收乙個隨機的雜訊z，通過這個雜訊生成，記做g z d是乙個判別網路，判別一張是不是 真實的 它的輸入引數是x，x代表一張，輸出d x 代表x為真實的概率，如果為1，就代表100 是真實的，而輸出為0，就代表不可能是真實的。在訓練過程中，生成網路g的目標就是盡量生成真實的去欺騙...