1.什麼是*****_size與epoch。
假設train_data一共有10000個資料,我們在訓練時並不是minimize整個train_data的loss,而是把train_data分為好多部分,每個部分的資料量的大小就是*****_size。如果*****_size=20,那在訓練時把20個資料作為一組,在這20個資料上做梯度下降,最小化loss之後,再在下一組資料上訓練,總共為10000/20=500組。當把所有組都訓練一遍之後,就叫做乙個epoch,如果設定epoch=10,那就是重複十次。
2.訓練深度學習網路時的幾個小提示.
2.1 early stopping
2.2 regularization
2.3 dropout
2.4 new activation function
2.5 adaptive learning rate
3.使用深度學習的方法時,在test_data上得到的結果不好,第乙個需要去看的是模型在train_data上的accuracy怎麼樣,如果在train上的結果很好,可能的結果是overfitting;但如果在train_data上的accuracy都不好,說明訓練的時候都沒把模型訓練好,loss函式設定得不好導致模型沒有收斂或者本身選的模型不好等等,就要考慮改變引數活著改變網路結果。
4.在訓練的時候發現,有時候可以收斂,train_accuracy越來越好,但同樣的配置,再訓練一次會發現可能收斂不了,train_accuracy一直在乙個值附近上下波動。當遇見這種情況,在沒有更好的方法之前(優化網路等),解決方法是停止當前無法收斂的訓練,重新開始下一次訓練。
5.深度學習計算機視覺中最重要的幾個資料集:mnist,cifar10和cifar100,pascal,imagenet,mircosoft coco。
機器學習相關知識
之前學習的東西很雜,都是想到哪個演算法,就去學。並沒有很系統的去理解他們的區別,這樣可能就沒辦法理解其真正的含義。再就是一心想著找實習,可是沒有足夠的水平水平很難去做這方面專案,即使找到了,可能也很low 所以其實我要做的是靜下心來,系統的,深入的去學習 理解和實現這些演算法 知識。常用的機器學習演...
機器學習相關知識點
1 tp 將正類 為正類數 fn 將正類 為負類數 fp 將負類 為正類數 tn 將負類 為負類數 精確率 precision p tp tp fp 反映了被分類器判定的正例中真正的正例樣本的比重。準確率 accuracy a tp tn p n tp tn tp fn fp tn 反映了分類器統對...
機器學習知識點相關總結(四) SVM相關
機器學習知識點相關總結 一 基礎 機器學習知識點相關總結 二 決策樹相關 機器學習知識點相關總結 三 lr相關 機器學習知識點相關總結 四 svm相關 機器學習知識點相關總結 五 cnn相關 機器學習知識點相關總結 六 rnn,lstm相關 機器學習知識點相關總結 七 k means相關 1.講一下...