根據閱讀《神經網路與機器學習》了解並解決部分問題，通過部落格記錄。
什麼是多層感知器？
根據對rosenblatt感知器，最小均方演算法的學習，多層感知器是一種在以上基礎的上的一種推廣。
其中關鍵就是包含了乙個或多個隱藏層的感知器。
為什麼要使用多層感知器而不使用rosenblatt感知器呢？
對於rosenblatt感知器來說，它只能處理線性可分的雙半月問題，對於線性不可分問題來講，需要多層感知器這樣的結構才能夠區分。
多層感知結構是什麼樣的？
首先通過輸入層將x向量輸入（其中表示為輸入的多個值），通過一層多個神經元處理，那麼就是沒有隱藏層。通過兩層及以上隱藏層處理那麼就是多層感知結構。在不同層數之前輸入與輸出連線時，又可以分為全連線和非全連線。
什麼是反向傳播演算法（bp神經網路）呢？
在多層感知器中，對輸出層的結果y與期望值d想比較，根據誤差e反向傳遞從而改變神經元每層的權值向量那麼就是乙個反向傳播演算法。
反向傳播演算法有可以分為兩種方式，一種是隨機法，另一種是批量法。隨機法是每次通過乙個樣本乙個樣本反向傳播。批量法是所有樣本一回合一回合批量反向傳播。
反向傳播演算法效能改善方法？
1、隨機和批量方式更新
2、最大資訊內容
3、啟用函式合適
4、期望響應合適
5、輸入標準化，消除均值，去相關性，協方差均衡
6、權值初始化合適
7、學習率合適或者自適應
8、先驗知識符合訓練過程
隨機法是比較流行的乙個演算法，為什麼呢？
第一，演算法簡單，並且只使用少量儲存。第二，每個時間每個樣本只使用一次，學習率有很大作用。比如學習率最優退火和自適應控制。
學習率最優退火和自適應控制有哪些不同點？
最優退火可以可以和批量學習的演算法速度一樣快。
而對於最優解不斷變化的情況來說，自適應控制法更加有效。
什麼是交叉驗證？
對於已有的資料來說，可以把訓練集分為1.估計子集2.驗證子集
通過估計子集訓練感知器，驗證子集判斷感知器是否訓練成功。這種方法來進行監督學習。
什麼是動態神經網路？
非線性濾波器也就是動態神經網路由 短期記憶和靜態神經網路兩個子系統組合而成。
短期記憶為一種單個輸入多個輸出的函式，gamma函式或抽頭延遲線函式等。
作為最優化問題看待監督學習？
以下四種演算法速度由慢到快排序：
隨機梯度下降法，擬牛頓法，共軛向量法，牛頓法
學習問題中過剩誤差是什麼？
過剩誤差等於 最優化誤差 逼近誤差 估計誤差
最優化誤差是指 結構風險<=結構風險+p
逼近誤差 第二個逼近與第乙個逼近之差 時間平均能量函式與能量函式之差
估計誤差 泛化樣本不屬於訓練樣本導致的誤差
在小規模學習中逼近誤差與估計誤差之和為過剩誤差。而在大規模學習中還要考慮最優化誤差。
什麼是卷積網路？
卷積網路是乙個為識別二維形狀而特殊設計的乙個多層感知器。
主要分為以下形式的約束：
特徵提取，特徵對映，子抽樣
多層感知器
在介紹單層感知器的時候，我們提到對於非線性可分問題，單層感知器是很難解決的，比如下面這個例子 很簡單的乙個分布，但事實上就是無法用直線進行分類，後來就出現了多層感知器，主要改變的地方是把第一層的感知器的輸出作為第二層感知器的輸入，即使只是簡單新增一層感知器，也足以解決xor問題，關鍵的原因是，多了一...
多層感知器（MLP）
一.簡述多層感知器 mlp 1.深度前饋網路 deep feedforward network 也叫前饋神經網路 feedforward neuarl network 或者多層感知機 multilayer perceptron,mlp 是典型的深度學習模型。這種模型被稱為前向 feedforward...
10 28 多層感知器
loc函式 通過行索引 index 中的具體值來取行資料 如取 index 為 a 的行 iloc函式 通過行號來取行資料 如取第二行的資料 pandas中loc和iloc函式用法詳解 原始碼 例項 import tensorflow as tf from tensorflow.keras impo...