特點：隨機從資料中抽取樣本訓練
優點：操作簡單，上手容易。
缺點：1.可能始終都會有一部分資料未參加訓練，造成資料浪費
2.可能使得訓練出來的模型有偏差，對小類樣本完全不能擬合
3.訓練時間較長，輪次較多。
特點：將資料分割成兩份按照不同的比例劃分，每次按照順序取出資料，訓練完一次後保證訓練集和測試集不變的情況下打亂順序。
優點：操作相對複雜，能夠較好的擬合資料。訓練時間相對較短
缺點：始終都會有一部分資料未參加訓練，造成資料浪費
模型容易過擬合
優點：能取得更好的訓練結果
缺點：操作複雜
始終都會有一部分資料未參加訓練，造成資料浪費
訓練時間長
特點：將資料隨機分成10份，每次取9份作為訓練集，保留乙份作為驗證集。訓練過程需要迭代十個大迴圈，每次需要在10份資料中取出上一輪未見過的乙份作為驗證集，類似於交叉驗證，但不同之處在於最終只會生成乙個模型。等於說是將交叉驗證方式產生的資料放入同乙個模型進行訓練。（驗證集不唯一，每次都會是不同的考試標準）
優點：充分利用資料，結果相對更好
缺點：操作複雜
資料可能會過擬合
訓練時間長
有10個老師教乙個學生，這個學生需要從每個老師身上學習知識，最終參加考試。
1.隨機取樣訓練就是10個老師隨機的來教這個學生，這個學生不參加考試，直接畢業
2.留出法訓練，每次有9個老師教導1個學生學習，最後由沒教過這個學生的老師出題考這個學生，學生畢業
3.交叉驗證法法訓練，每次有9個老師教導10個學生學習，最後每個學生由沒教過他的老師出題參加考試，取考試成績最高的學生畢業
4.自定義訓練方法，10個老師同時教導1個學生，一共10期課程，每期課程由9個老師教導學生，剩下的1個老師出題（每次出題的老師不會重複），作為學生階段測試的內容，10期課程結束後學生畢業
按照上述例子方法的經驗比較
1.方法
一、學生能力最差，未經過考驗就步入社會。（學生能力碰運氣）
2.方法
二、學生能力一般，經過簡單考驗後步入社會（學生可能針對出題老師學習，學的能力片面）
3.方法
三、學生能力較強，經過簡單考驗、以及同類競爭後步入社會（學生針對出題老師學習，學的能力片面，資質好的學生畢業，學習能力更強）
4.方法
四、學生參與了階段化學習，通過了所有老師的綜合考驗，最終步入社會（能力相對來說比較全面）
深度學習模型訓練基本步驟
原文 這裡 一.資料預處理 二.將資料輸入神經網路 每個神經元先輸入值加權累加再輸入啟用函式作為該神經元的輸出值 正向傳播，得到得分 三.將 得分 輸入誤差函式loss function 正則化懲罰，防止過度擬合 與期待值比較得到誤差，多個則為和，通過誤差判斷識別程度 損失值越小越好 四.通過反向傳...
深度學習模型訓練 分類問題。
模型分類問題主要包含二分類和多分類兩種場景。1 二分類為什麼會採用sigmoid啟用函式 模型在實際輸出時值可能不在 0,1 區間，我們需要把模型的輸出對映到 0,1 區間。二分類問題需要採用邏輯回歸的思路解決問題。原因是邏輯回歸服從0 1分布,即 p y 1 x p x p y 0 x 1 p x...
深度學習模型訓練小技巧
這篇文章主要介紹一些在深度學習模型訓練時的一些小技巧。warmup可以理解為預熱 熱身的意思，它的思想是一開始以較小的學習率去更新引數，然後逐步提高學習率。這樣的好處是 有助於減緩模型在初始階段對mini batch的提前過擬合現象，保持分布的平穩 有助於保持模型深層的穩定性。線性warmup nu...