深度學習實踐

· 選擇合適的損失函式

· mini-batch

· 選擇不同的啟用函式

· 改變學習速度

· momentum· early stopping

· 正則化

· dropout

· 改變網路架構· 選擇合適的損失函式

· mini-batch

當資料集很大時，訓練演算法是非常慢的，

和 batch 梯度下降相比，使用 mini batch 梯度下降更新引數更快，有利於更魯棒地收斂，避免區域性最優。

和 stochastic 梯度下降相比，使用 mini batch 梯度下降的計算效率更高，可以幫助快速訓練模型。

參考鏈結

· 改變學習速度

如果學習速度太慢的話，訓練時間長；如果學習速度太快，訓練誤差可能不會下降，達不到誤差極小值。可以採用隨著learning的進行，引數變得越來越小，一種常用的演算法是adagrad。

· momentum

動量的引入是為了加快學習過程，最直觀的理解就是，若當前的梯度方向與累積的歷史梯度方向一致，則當前的梯度會被加強，從而這一步下降的幅度更大。若當前的梯度方向與累積的梯度方向不一致，則會減弱當前下降的梯度幅度。

在測試集上效果不佳，很有可能是遇到了過擬合的情況。提前結束訓練，可以減緩過擬合現象。

· 正則化

· dropout

即去掉一定比例的神經元，在訓練集中的效果會變差，但是在測試集中效果會變好。參考鏈結

· 改變網路架構卷積層的作用：

some patterns are much smaller than the whole image

rnn網路有記憶動作。推算複雜。

PyTorch深度學習實踐 Overview

pytorch是乙個基於torch的python開源機器學習庫，用於自然語言處理等應用程式。它主要由facebookd的人工智慧小組開發，不僅能夠 實現強大的gpu加速，同時還支援動態神經網路。pytorch是乙個動態的框架，而tensorflow是靜態框架 2.x版本也為動態框架優先 靜態框架就是...

深度學習框架配置和實踐

本人github 一 裝系統 二 nvidia顯示卡驅動安裝 三 cuda和cudnn安裝 四 anaconda安裝 五 tensorflow和keras安裝 六 pytorch安裝 七 opencv安裝 八 yolo官方框架 8.2 yolo提公升技能 九 虛擬環境 版本號管理 9.2 virtu...

Pytorch深度學習實踐 線性模型

在看劉二大人的pytorch教程，寫個筆記記錄一下，如果有什麼問題歡迎一起 呀 傳送門 劉二大人的pytorch深度學習實踐 線性模型 首先是線性模型的定義 給定由d個屬性描述對的示例x x x x 其中 是第i個屬性上的取值，線性模型試圖學得乙個通過屬性的線性組合來進行 的函式，即 轉換成向量形式...