學習任何一樣東西，最重要的就是基礎。此部落格是本人學習神經網路的筆記，在這裡提供分享，記錄自學的心路歷程！
基礎：在這裡簡單說哈學習神經網路需要的一些數學基礎，它包括向量、矩陣、多元微積分、等數**算。
神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互連線構成，每個節點代表一種特定的輸出函式（稱為啟用函式）。每兩個節點間的連線都代表乙個對於通過該連線訊號的加權重（權重weight），神經網路就是通過這種方式模擬人類的大腦。網路的輸出則取決於網路的結構、網路的連線方式、權重和啟用函式。而網路自身通常都是對自然界某種演算法或函式的逼近，也可能是對一種邏輯策略的表達。
人工神經網路構成的基本原理主要考慮三個方面的問題：
1神經元的啟用函式（數學模型）
2神經元之間的連線方式（拓撲結構）
3學習演算法（訓練演算法）
神經元數學模型的計算能力有兩個規則：
1組合輸出訊號的規則
2將組合輸入訊號計算成輸出訊號的激勵規則，輸出訊號經過連線權傳送給其他節點，加權的強度通常會是正在通訊的訊號產生興奮或抑制。
人工神經元模型的要素：
1連線加權、連線加權對每個輸入訊號進行處理以確定其強度，各個神經元之間的連線強度由連線權的權值（重）表示，權值為正表示啟用，為負表示抑制。連線加權對應於生物神經元的突觸（兩個細胞的介面）。從數學上看，當輸入訊號進入神經元時，它會乘以乙個權值。
例如：如果乙個神經元有兩個輸入，則每個輸入將具有分配給它的乙個關聯權重，我們隨機初始化權值，並在模型訓練過程中更新這些權值，訓練後的神經網路對其認為重要的輸入賦予較重權值，對於不那麼重要的輸入對應較低權值，為零的權值則表示特定輸入訊號的特徵是微不足道的。
2求和單元，用於求取所有輸入訊號的加權和（線性組合）
3啟用函式，一旦將線性分量應用於輸入，將需要應用乙個非線性函式，通過將啟用函式應用於線性組合來完成。啟用函式將輸入訊號轉換成輸出訊號，啟用函式起到非線性對映作用，並將神經元輸出幅度限制在一定範圍內，一般取值為（0，1）或者（-1，1）.啟用函式也稱為獎勵函式、轉移函式、傳輸函式或限制函式，其反映了神經元輸入訊號與其啟用狀態之間的關係，也就是神經元在輸入訊號作用下產生輸出訊號的規律，這是神經元模型的外特性。
4閾值（偏差），乙個閾值δk，如果用x0=1的固定偏置輸入節點表示閾值節點，則它與神經元k之間的連線強度為wk0=-δk，閾值也稱偏差（bias），它是除了權中之外，另乙個被應用於輸入的線性分量，它被加到權重與輸入相乘的結果中。新增偏差的目的是改變權重與輸入相乘所得結果的範圍，新增偏差後，結果看起來是「求和單元輸出+偏差」，這是輸入變換的最終線性分量。
西瓜書學習筆記之神經網路
感知機 感知機是一種最簡單形式的前饋神經網路，是二元線性分類模型，輸入為例項的特徵向量，輸出為他的類別 1 1 感知機的目的是訓練出將資料分隔開的分離超平面。感知機能輕易完成與 或 非運算，感知機的權重w如此調整 每次改變 wi，wi y y xi 這裡，是學習率，y y 是 值y 和實際值y的差，...
機器學習之神經網路
機器學習是一門致力於研究如何通過計算的手段，利用經驗來改善系統自身的效能。經驗通常以資料的形式存在，因此機器學習所研究的主要內容是關於在計算機上從資料中產生 模型 的演算法，即 學習演算法 有了學習演算法，將經驗資料提供給它，它就能基於這些資料產生模型 當面對新情況時，模型會給我們提供相應的判斷。一...
PyTorch學習之神經網路
神經網路可以通過torch.nn包來構建，它是基於自動梯度來構建一些模型，乙個nn.module包括層和乙個方法forward input 同時也會返回乙個輸出 output 下圖是乙個簡單的前饋神經網路lenet，乙個簡單的神經網路包括一下幾點 super net,self 首先找到 net 的父...