當我們訓練乙個模型時,一般會得到兩個結果:好模型,壞模型。
壞模型的意義就是那些不能得出正確結果的模型。
而得到壞模型的原因有兩:
1.欠擬合;
2.過擬合;
現象表現為:訓練時得到的結果差,測試時,得到的結果也差。
造成這種情況的原因,在於訓練的次數過少,或是訓練的樣本過少。
與之對應的解決方案,訓練的次數更多點就是了。
結果現象表現為:訓練時得到的結果極高,測試時,得到的結果相對差得有點多。
函式現象表現為:過於貼合訓練樣本,以至於會讓一些特殊的樣本佔了主流。
造成這種情況的原因,在於訓練的次數過多。
解決方案:
1.權重衰減。
2.dropout。
如上文所說,過擬合是過於貼合樣本。導致那個特殊的樣本佔了主流。那麼我們要做的就是減小那個特殊樣本造成的影響。
而在資料上,當乙個特殊樣本造成的影響特別大的時候,超引數所表現出來的特徵是:超引數的絕對值會變得有點大。
所以為了把超引數變得更小,只需要在損失函式當中,把這個東西考慮進去。
如:俗稱『隨機丟棄』,隨機丟棄,就有可能把那個過大的引數給丟棄了,而得到正確的模型。
梯度是用來求導的,用於訓練模型。
但是如果這個梯度特別小,接近於0,那麼這個模型就無法繼續訓練。(梯度消失)
如果這個梯度絕對值特別大,那麼這個模型,就很難訓練好。(梯度**)
層數特別深的時候就容易兩者都出現。
在構造模型時,選擇合適的深度。
這三者的都是單個網路,多個網路平行放在一起,叫做層。疊在一起之後,就有了深度。
rnn是最基本的。但有個缺點:容易忘掉很久之前的一些記憶。
lstm和gru則能避免這個缺點。
第三次筆記
什麼是庫檔案?儲存原始檔的功能但是看不到原碼 靜態庫 編譯的時候載入 是否在執行程式之前就已經加入到可執行 中,成為執行程式的一部分來執行,字尾名 a 動態庫 執行時載入 是在執行程式啟動時載入到執行 中,字尾名為 so 靜態庫和動態庫的區別?執行效益 靜態高,動態底 可執行檔案大小 靜態大,動態小...
第三次筆記
大資料19 4班 26劉嘉瑞 函式集合的概念 函式對程式邏輯進行結構化或過程化的一種程式設計方式,寫函式的目的是為了 的重用。def 函式名 形參 定義函式 注釋 函式體建立乙個函式def printinfo print print 內容。print printinfo 執行函式返回值 return...
第三次學習
1.學習前端的第三天 用時 5小時 學習內容 零基礎學院 第三天 學習目標 完成效果不好 分享乙個很好地 可以用來學習,對於初學者建立 很友好 2.什麼是css,css是如何工作的css是層疊樣示表 瀏覽器載入html 瀏覽器解析html,同時載入css 瀏覽器解析css,並使css結合html,生...