參考部落格：
在機器學習，尤其是深度學習領域，經常會遇到模型引數過多，訓練樣本過少的情況，這種情況下訓練出來的模型通常是過擬合的，過擬合的具體表現形式為：模型在訓練集上損失函式小，**準確率高；在測試集上損失函式大，**準確率低。為了解決過擬合的問題，通常採用模型整合的方法，這樣多個模型的訓練和測試都及其費時。因此，訓練深度神經網路的兩個常見問題：1）過擬合；2）費時
基於此，深度學習領域大牛hinton於2023年提出了一種「dropout」的學習技巧，可以有效緩解過擬合的發生，在一定程度上達到正則化的效果
當前dropout被大量利用於全連線網路，而且一般認為設定為0.5或者 0.3，而在卷積網路隱藏層中由於卷積自身的稀疏化以及稀疏化的relu函式的大量使用等原因，dropout策略在卷積網路隱藏層中使用較少。總體而言，dropout是乙個超參，需要根據具體的網路、具體的應用領域進行嘗試
深度神經網路
關於卷積神經網路cnn，網路和文獻中有非常多的資料，我在工作 研究中也用了好一段時間各種常見的model了，就想著簡單整理一下，以備查閱之需。如果讀者是初接觸cnn，建議可以先看一看 deep learning 深度學習 學習筆記整理系列 中關於cnn的介紹 1 是介紹我們常說的lenet為例，相信...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
如何除錯神經網路（深度神經網路）？
神經網路的除錯基本上難於絕大多數的程式，因為大部分的神經網路的錯誤不會以型別錯誤或執行時錯誤顯現，他們只是使得網路難以收斂。如果你是乙個新人，這可能會讓你非常沮喪。乙個有經驗的網路訓練者可以系統的克服這些困難，儘管存在著大量似是而非的錯誤資訊，比如 你的網路訓練的不太好。對缺少經驗的人來說，這個資訊...