在剛開始除錯的時候，可能難以確定模型是否收斂，這時候可以在除錯的時候，適當地增加學習率的數量級，看看模型在前幾次迭代的時候loss是否會隨著迭代次數的增加呈10倍左右的下降，如果觀察到loss的值可以「10倍左右」可見的速度下降，則說明模型是可以收斂的，此時loss函式的設計大概率是正常的，可以將學習率調回正常值繼續進行測試；
我們可以使用netron來檢視模型的網路結構圖；
（netron的使用可以參考文章《視覺化工具netron的簡單使用》）
loss值的累加值；
訓練集的map；
測試集的map；
early stop的探索次數我們設定為26次，這個是如何得來的呢？
我們首先把探索成功和不成功的概率假設為0.5，我們設定探索行動的閾值為99.999%，
則計算探索次數的方法如下：
於是，我們選擇了乙個好記一點的數字也就是26次；
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
如何除錯神經網路（深度神經網路）？
神經網路的除錯基本上難於絕大多數的程式，因為大部分的神經網路的錯誤不會以型別錯誤或執行時錯誤顯現，他們只是使得網路難以收斂。如果你是乙個新人，這可能會讓你非常沮喪。乙個有經驗的網路訓練者可以系統的克服這些困難，儘管存在著大量似是而非的錯誤資訊，比如 你的網路訓練的不太好。對缺少經驗的人來說，這個資訊...