解決反向傳播演算法中的過度擬合問題的方法：
權值衰減
它在每次迭代過程中以某個小因子降低每個權值，這等效於修改e的定義，加入乙個與網路權值的總量相應的懲罰項，此方法的動機是保持權值較小，從而使學習過程向著複雜決策面的反方向偏置。
驗證資料
乙個最成功的方法是在訓練資料外再為演算法提供一套驗證資料，應該使用在驗證集合上產生最小誤差的迭代次數，不是總能明顯地確定驗證集合何時達到最小誤差。
k-fold交叉方法
把訓練樣例分成k份，然後進行k次交叉驗證過程，每次使用不同的乙份作為驗證集合，其餘k-1份合併作為訓練集合。
每個樣例會在一次實驗中被用作驗證樣例，在k-1次實驗中被用作訓練樣例。
每次實驗中，使用上面討論的交叉驗證過程來決定在驗證集合上取得最佳效能的迭代次數，然後計算這些迭代次數的均值。
最後，執行一次反向傳播演算法，訓練所有m個例項並迭代 i次。
前饋網路的表徵能力
布林函式：任何布林函式可以被具有兩層單元的網路準確表示，儘管在最壞情況下所需隱藏單元的數量隨著網路輸入數量的增加成指數級增長。
連續函式：每個有界的連續函式可以由乙個兩層的網路以任意小的誤差逼近。這個結論適用於在隱藏層使用sigmoid單元、在輸出層使用（非閾值）線性單元的網路。所需的隱藏單元數量依賴於要逼近的函式。
任意函式：任意函式可以被乙個有三層單元的網路以任意精度逼近。兩個隱藏層使用sigmoid單元，輸出層使用線性單元，每層所需單元數不確定。
人工神經網路 多層神經網路
模型原型 sklearn.neural network.mlpclassifier hidden layer sizes 100,activation relu algorithm adam alpha 0.0001,batch size auto learning rate constant le...
人工神經網路
人工神經網路 artificial neural network,ann 通過對大量歷史資料的計算來建立分類和 模型。神經網路的學習就是通過迭代演算法對權值逐步修改優化的過程。學習的目標是通過修改權值是訓練樣本集中所有樣本都能被正確分類。人工神經元用於模擬生物神經元，人工神經元可以看作乙個多輸入 單...
人工神經網路
import numpy as np import matplotlib.pyplot as plt import pandas as pd import seaborn as sns from sklearn.model selection import train test splitann建模...