定義：在機器學習和認知科學領域，人工神經網路（artificial neural network，
縮寫ann），簡稱神經網路（：neural network，縮寫nn）或類神經網路，是一
種模仿生物神經網路的結構和功能的計算模型，用於對函式進行估計或近似。
神經網路的種類：
基礎神經網路：單層感知器，線性神經網路，bp神經網路，hopfield神經網路等
高階神經網路：玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等
深度神經網路：深度置信網路，卷積神經網路，迴圈神經網路，lstm網路等
不同的結構解決不同的問題
輸入向量的維度和輸入神經元的個數相同
每個連線都有個權值
同一層神經元之間沒有連線
由輸入層，隱層，輸出層組成
第n層與第n-1層的所有神經元連線，也叫全連線
結構（architecture）例如，神經網路中的變數可以是神經元連線的權重
啟用函式（activity rule）大部分神經網路模型具有乙個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。
學習規則（learning rule）學習規則指定了網路中的權重如何隨著時間推進而調整。（反向傳播演算法）
在使用tensorflow的時候，tf.nn ，tf.layers ，tf.contrib模組中有很多功能是重複的
1.tf.nn ：提供神經網路相關操作的支援，包括卷積操作（conv），池化操作（polling），歸一化，loss，分類操作，embedding，rnn，evaluation
2.tf.layers： 主要提供高層的神經網路，主要和卷積相關的，對tf.nn的進一步封裝
3.tf.contrib：tf.contrib.layers提供計算圖中的網路層，正則化，摘要操作，是構建計算圖的高階操作。
softmax回歸
公式：
損失計算-交叉熵損失公式
y』為神經網路結果，y_i為真實結果。每個類別都有乙個損失結果
最後需要求平均損失
神經網路策略：交叉熵損失，優化：反向傳播演算法
特徵加權：
tf.matmul(a, b,name=none)+bias
return:全連線結果，供交叉損失運算
不需要啟用函式（因為是最後的輸出）
tf.nn.softmax_cross_entropy_with_logits(labels=none, logits=none,name=none)
計算logits和labels之間的交叉損失熵
labels:標籤值（真實值）
logits：樣本加權之後的值
return:返回損失值列表
tf.reduce_mean(input_tensor)
計算張量的尺寸的元素平均值
tf.train.gradientdescentoptimizer(learning_rate)
梯度下降優化
learning_rate:學習率，一般為
minimize(loss):最小化損失
return:梯度下降op
卷積神經網路結構
卷積神將網路的計算公式為 n w f 2p s 1 其中n 輸出大小 w 輸入大小 f 卷積核大小 p 填充值的大小 s 步長大小 即與用和原輸入層大小 深度完全一致的卷積核進行卷積，形成11x的全連線層 即展開 其中x由卷積核的層數決定。寫 時也可以直接展開為一維 不改變輸入層的大小，但改變輸入和...
Caffe神經網路結構彙總
自2012年alexnet贏得了imagenet競賽以來，深度學習 神經網路 得到了飛速發展，產生了許多的神經網路結構，本文主要總結caffe中使用的神經網路 分類的神經網路 本文的神經網路作者都使用caffe訓練過，並在kaggle的intel癌症 比賽中進行了測試與使用 top 8 alexne...
深度學習 神經網路結構
線性可分 線性不可分 判斷一堆資料是否能夠線性可分的關鍵在於所在維度。從線性不可分 線性可分，可採用公升高維度的方式。線性可分和線性不可分的辯證統一思想 在低維空間中資料線性不可分，通過對映到高維空間是線性可分，回到低維空間又是線性不可分的，兩者統一而矛盾。線性不可分 線性可分 同時參考 深度學習領...