1.batch_size:
餵給模型的小批次資料。
2.num_train_steps:
訓練資料所需的總步數。
3.epoch:
使用訓練集中的全部樣本訓練的總次數。
4.iteration:
iteration等於使用batch_size個樣本全部跑完一次訓練樣本資料的次數。
5.num_warmup_steps:
學習率預熱的步數。（先用最初的小學習率訓練，然後每訓練一步，學習率遞增，直到最初設定的比較大的lr;之後學習率繼續衰減。）
預熱學習率的方式,即先用最初的小學習率訓練，然後每個step增大一點點，直到達到最初設定的比較大的學習率時（注：此時預熱學習率完成）；採用最初設定的學習率進行訓練（注：預熱學習率完成後的訓練過程，學習率是衰減的），有助於使模型收斂速度變快，效果更佳。
模型引數與模型超引數
模型引數是模型內部的配置變數，其值可以根據資料進行估計。模型在進行 時需要它們。它們的值定義了可使用的模型。他們是從資料估計或獲悉的。它們通常不由程式設計者手動設定。他們通常被儲存為學習模型的一部分。引數是機器學習演算法的關鍵。它們通常由過去的訓練資料中總結得出。在經典的機器學習文獻中，我們可以將模...
14 模型，又見模型 小結
1.bus type,device,device driver的關係？1 bus type有兩個kset成員，struct kset drivers struct kset devices 分別表示它連線在這個匯流排上的裝置列表和註冊在這個匯流排上的驅動列表。2 device有兩個成員 struct...
FM模型小結
fm是乙個不得不提的演算法，將部分筆記內容整理到部落格，內容文字不甚成系統，只作為記錄點撥之用。從特徵組合說起 對邏輯回歸最樸素的特徵組合就是二階笛卡爾積，但其中也有問題所在 兩兩組合導致維度災難 組合後特徵並不見得都有效，通常大量無效特徵 組合後特徵樣本非常稀疏，如果樣本中不存在對應組合，則無法學...