BP網路和RBF網路

一、bp網路：反向傳播網路

二、rbf網路：徑向基函式網路（radial basis function）

rbf結構上並不複雜，通常只有三層。輸入層、中間層計算輸入 x 向量與樣本向量 c 歐式距離的 radial basis function (rbf) 的值，輸出層算它們的線性組合。其模型可以數學表示為：

和普通的三層神經網路，rbf 神經網路的區別在中間層。中間層採用 rbf kernel 對輸入作非線性變換，以便輸出層訓練線性分類器：

rbf kernel：

輸入為2d時rbf kernel:

rbf 擁有較小的支集。針對選定的樣本點，它只對樣本附近的輸入有反應，rbf 使樣本點只被附近（圈內）的輸入啟用,如下圖所示。

總結：rbf網路能夠逼近任意的非線性函式，可以處理系統內的難以解析的規律性，具有良好的泛化能力，並有很快的學習收斂速度，已成功應用於非線性函式逼近、時間序列分析、資料分類、模式識別、資訊處理、影象處理、系統建模、控制和故障診斷等。

簡單說明一下為什麼rbf網路學習收斂得比較快。當網路的乙個或多個可調引數（權值或閾值）對任何乙個輸出都有影響時，這樣的網路稱為全域性逼近網路。由於對於每次輸入，網路上的每乙個權值都要調整，從而導致全域性逼近網路的學習速度很慢。bp網路就是乙個典型的例子。

如果對於輸入空間的某個區域性區域只有少數幾個連線權值影響輸出，則該網路稱為區域性逼近網路。常見的區域性逼近網路有rbf網路、小腦模型（cmac）網路、b樣條網路等。