rnn （遞迴神經網路）
一、神經網路的種類：
基礎神經網路：單層感知機，執行緒神經網路，bp神經網路，hopfield神經網路等
高階神經網路：玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等
深度神經網路：深度置信網路，卷積神經網路，迴圈神經網路，lstm聖經網路等
一、 感知機 svm
有n個輸入資料，通過權重與各資料之間的計算和 ，w1x1+w2x2+w3*x3+…=y
比較啟用函式結果，得出輸出
應用：很容易解決與、或問題
感知機是解決分類問題
異或問題：相同為0，不同為1
如何解決:線性回歸模型構造直線 通過直線分解
單個感知機無法解決異或問題 可以使用兩個感知機解決。而神經網路就是基於感知機模型。
神經網路的特點
輸入向量的緯度和輸入神經元的 個數相同
每個連線都有神經元之間的連線
由輸入層、隱層、輸出層組成
第n與第n-1層的所有神經元連線，也叫全連線
一、卷積層概念
定義過濾器（觀察視窗）的大小，和移動的步長。
對於一張不去對整體畫素值進行分析，而是通過部分畫素點（叫做視窗）進行執行緒回歸，然後通過向左和向下平移在去對其餘的畫素進行分析。
這裡用三個權重矩陣來分別處理三個通道畫素。
二、零填充
為了使卷積層輸出結果的大小和原圖大小相同。將原圖使用0填充。當填充層數padding = 1 時填充結果圖:
這樣如果要想使卷積層輸出和原圖大小 相同 可以通過簡單計算 計算出padding 的層數。達到目的。
一、啟用函式 relu max(0,x)
相比與sigmod 函式來說relu計算比較方便
sigmod反向傳播容易造成梯度**
一、作用
特徵提取，過濾掉不重要的樣本 從而減少引數的數量 最常見的方法是max pooling
一、作用
池化 卷積等相當於 特徵工程 全連線相當於特徵加權。起到分類器的作用。
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
深度學習筆記1 神經網路
神經元與多層網路 神經網路中最基本的成分是神經元模型，目前基本上用的都是 m p神經元模型 在這個模型中，神經元接收到來自n nn個其它神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權值的鏈結進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過 啟用函式 處理以產生神經元的輸出。啟用函式...