神經網路往往不需要人為的構造資料特徵，因為乙個神經元就可以看做是原始資料的不同特徵的組合，在神經元數目足夠大，層數足夠多的情況下，是很容易準確的進行分類的.
神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所做出的互動反應 。
##神經元模型
「m-p神經元模型」正是對這一結構進行了抽象，也稱「閾值邏輯單元「，其中樹突對應於輸入部分，每個神經元收到n個其他神經元傳遞過來的輸入訊號，這些訊號通過帶權重的連線傳遞給細胞體，這些權重又稱為連線權。細胞體分為兩部分，前一部分計算總輸入值（即輸入訊號的加權和，或者說累積電平），後一部分先計算總輸入值與該神經元閾值的差值，然後通過 啟用函式的處理，產生輸出從軸突傳送給其它神經元。
與線性分類十分相似，神經元模型最理想的啟用函式也是階躍函式，即將神經元輸入值與閾值的差值對映為輸出值1或0，若差值大於零輸出1，對應興奮；若差值小於零則輸出0，對應抑制。但階躍函式不連續，不光滑，故在m-p神經元模型中，也採用sigmoid函式來近似， sigmoid函式將較大範圍內變化的輸入值擠壓到 (0,1) 輸出值範圍內，所以也稱為擠壓函式（squashing function）。
將多個神經元按一定的層次結構連線起來，就得到了神經網路。它是一種包含多個引數的模型，比方說10個神經元兩兩連線，則有100個引數需要學習（每個神經元有9個連線權以及1個閾值），若將每個神經元都看作乙個函式，則整個神經網路就是由這些函式相互巢狀而成。
將神經元分別編號1-10,1號神經元分別與其他9個相連，有9個權，1個閾值，以此類推：10個神經元兩兩連線，則有100個引數需要學習（有90個連線權以及10個閾值）
神經網路語言模型
基於計數的n gram語言模型 出現的問題 1 資料稀疏，有些資料未出現過 2 忽略語義的相關性，如 無聊 與 枯燥 雖然語義相似，但無法共享資訊。詞語表示為 one hot表示法。基於分布式表示的n gram語言模型 出現的問題 1 詞向量 如何將每個詞對映到實數向量空間中的乙個點 2 f函式的設...
神經網路相關模型
logistic regression模型 y wtx b 記住使用的啟用函式 是sigmoid函式。損失函式 l y y y log y 1 y log 1 y 衡量 值y 與真實值y的差距，越小越好。代價函式 損失均值，j w,b 1 m mi 1l y i y i 是w和b的函式，學習的過程就...
搭建神經網路模型
簡單例子 先說模型搭建，後面發布模型訓練，最後模型 分類 in channel 輸入彩色為3 out channel 卷積核個數 一般與層數相同 kernel size 卷積核大小 stride 1 padding 0 self.conv1 nn.conv2d 3,6,5 16個卷積核，大小尺寸為 ...