1.1資料分集
將所有的訓練劃分為3個集：訓練集，驗證集，測試集
驗證集：迭代選擇出最優的幾個演算法
測試集如果不需要做無偏估計時，可省略
資料量小622（73）開
大時可以（98/1/1）或者（99.5/0.4/0.1）開
無偏估計，驗證你的資料是否遵循同乙個分布
1.2 方差，偏差
在神經網路中，偏差指的事訓練資料集的表現，方差對應測試集
如果訓練集的誤差很大，即偏差很大，稱之為欠擬合
如果訓練集的誤差很小，但測試集的誤差很大，即低偏差高方差，稱之為過擬合（過度照顧了網路中的資料）
正則化會降低方差的同時，也會增大偏差，不過當資料量足夠大，對偏差的影響就會小很多了。
解決高方差——正則化，更多的資料，更優的網路架構
解決高偏差——更大的網路結構，更有的網路架構
1.3正則化
正則項加在**？
，紅色部分就是正則項了
ps：歐幾里得範數的平方
（平面上一些點到圓點距離和）
常用正則化型別：
正則化：
；正則化：
累加絕對值之和
省略了是因為b只是乙個引數，比起w的多維引數來說數量太小了，所以忽略了正則化b的影響
正則化引數，乙個超引數，通過驗證集來調整它，另外初始化時，把它初始化乙個比較小的值，防止過擬合。python**中用lambd表示
，因為lambda是乙個保留字段
對於神經網路而言（上面是針對logistic回歸而言的正則化）
稱為弗羅貝尼烏斯範數，表示矩陣中所有元素的平方和
例：正則項對梯度下降的影響：
本來有了正則項之後
更新時需要多減乙個
，減快了梯度下降，所以
正則化也稱為'權重衰退'
1.4為什麼正則化能減少過擬合
乙個神經網路結構簡單會欠擬合，如果太複雜就會過擬合。
越大，要控制成本函式j,w較越小，就會使得w中一些值變成0，即把網路中的某些特徵值刪除掉了，把網路變簡單。在過擬合到欠擬合的過程中就會出現低方差，低偏差的理想情況了。
另外一種解釋：就是以tanh啟用函式為例，當z值很小時，tanh是不是像一條直線，那麼如果z值很小，那麼這一層與上一層成線性關係，使得，這一層可以刪除。也讓網路變得簡單起來。
越大，要控制成本函式j,w較越小，就會使得w中一些值趨向於0，造成z值很小。
執行方面小建議（演算法構建建議）：cost函式，改為
1.5 dropout（隨機失活）正則化
對於每一層都設定乙個留存率，每一層的每乙個節點都有乙個對應的隨機值，再根據留存率，選擇比較值，讓哪些節點失活。即讓
乘以0，讓第3層第2個節點失活。
**：keep_prob就是留存率了。對於結構複雜的層，留存率可設小一點，簡單的，就反之
注意：在驗證集上跑時，記得將dropout給去掉，因為不想在**時還出現隨機，同時在
的上一步需要記錄乙個值，以便在測試的時候不會調整
dropout也能達到收縮權重的類似能力
dropout缺點：隨機失活使得不會明確定義cost在每次迭代後都會下降，因為j是不可**的。當需要畫出cost的效能表現圖時，需要關閉dropout，並keep_prob=1
DeepLearning 吳恩達深度學習第三課筆記
orthogonalization 正交化 乙個調整只帶來乙個方面的影響 評價標準 1 optimizing n 1 satisficing training set dev set test set dev開發集和test測試集來自同樣的分布 樣本劃分 小樣本100 10000 70 30 或者 ...
吳恩達深度學習第2周測驗 神經網路基礎
網易雲課堂 深度學習工程師微專業 第2周測驗 神經網路基礎 1.神經元節點計算什麼？神經元節點先計算啟用函式，再計算線性函式 z wx b 神經元節點先計算線性函式 z wx b 再計算啟用。神經元節點計算函式g，函式g計算 wx b 在 將輸出應用於啟用函式之前，神經元節點計算所有特徵的平均值 請...
吳恩達深度學習日記1
今天的內容主要是聽了logistic回歸的部分 1 logistic回歸其實就是乙個 y sigmoid wx b 的乙個式子，其實可以直接理解為乙個一元一次函式，但是考慮到這個模型的用處在於做乙個二分類，所以直接使用 y wx b 不一定可以滿足要求，而加上sigmoid函式之後就可以將結果值y固...