特徵向量和秩的講解思路很不一樣，好神奇啊！這次學過概率了，能看懂的終於多了一點點tat，似然函式取最大值來估算引數是因為，其為樣本事件的理論概率，事件發生，那麼取理論上發生概率最大的那個情況，因此可以使用極大似然策略對模型引數進行優化。batchsize、epoch怎麼確定應該定為多少呢？全連線網路的引數太多，容易過擬合，卷積神經網路通過滑動視窗並且引數共享的形式，解決前面的過擬合問題。卷積核（濾波器，可有多個不同的通道）作為滑動視窗對輸入處理得到特徵圖，大小不匹配的時候可進行零填充，不同的卷積核關注不同資訊，且淺層關注整體上的資訊，深層更關注語義資訊。池化可以通過某領域最大值、平均值的計算使之縮小，減少引數。
卷積神經網路是一種前饋神經網路，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型影象處理有出色表現。卷積神經網路由乙個或多個卷積層和頂端的全連通層（對應經典的神經網路）組成，同時也包括關聯權重和池化層。這一結構使得卷積神經網路能夠利用輸入資料的二維結構。與其他深度學習結構相比，卷積神經網路在影象和語音識別方面能夠給出更好的結果。這一模型也可以使用反向傳播演算法進行訓練。相比較其他深度、前饋神經網路，卷積神經網路需要考量的引數更少。輔助分類器是怎樣解決由於模型深度過深導致的梯度消失的問題？
卷積神經網路比傳統神經網路多了卷積計算層、激勵層、池化層、全連線層，主要通過卷積和池化來挖掘資訊。
卷積是兩個變數在某範圍內相乘後求和的結果。數字影象是乙個二維的離散訊號，對數字影象做卷積操作其實就是利用卷積核在影象上滑動，將影象點上的畫素灰度值與對應的卷積核上的數值相乘，然後將所有相乘後的值相加作為卷積核中間畫素對應的影象上畫素的灰度值，並最終滑動完所有影象的過程。 我們經常能看到的，平滑，模糊，去燥，銳化，邊緣提取等等工作，其實都可以通過卷積操作來完成。
池化是一種形式的降取樣，更加關注是否存在某些特徵而不是特徵具體的位置；會不斷地減小資料的空間大小，因此引數的數量和計算量也會下降；在一定程度上也控制了過擬合。通常卷積層之間都會周期性地插入池化層。
組會的時候董老師問感覺怎麼樣，我回答」雲裡霧裡「。未來還有很長的路要走啊（小學生式感嘆）。
卷積計算過程不懂，我好菜啊！
目前卷積網路有沒有什麼良好的改進，使其具有較好的可解釋性？
一、緒論
1.卷積神經網路的應用
基本應用：分類、檢索、人臉識別、影象生成、自動駕駛
2.傳統vs卷積神經網路
深度學習三部曲：搭建神經網路→尋找合適損失函式→尋找合適優化函式，更新引數
損失函式：用來衡量吻合度，可以調整引數和權重w，使得對映的結果和實際類別吻合。
常用分類損失：
交叉熵損失、hinge loss
常用回歸損失：
均方誤差、平均絕對值誤差（l1損失）
傳統（全連線）網路處理影象的問題：權重矩陣引數太多導致過擬合，而卷積神經網路區域性關聯、引數共享
二、卷積神經網路基本組成結構
1.卷積
卷積是對兩個實變函式的一種數學操作。
在影象處理中，由於影象是以二維矩陣的形式輸入的，因此需要二維卷積。
卷積的過程：感受野內的輸入經過卷積核（或濾波器）中的權重處理，生成特徵圖。
2.池化
作用：保留主要特徵的同時減少引數和計算量，防止過擬合，提高模型泛化能力
3.全連線
兩層之間所有神經元都有權重連線，通常全連線層在神經網路尾部，參數量最大。
三、卷積神經網路典型結構
數學基礎依然是數學廢走馬觀花的環節，僅僅做了一些筆記。
資料降維：較大奇異值包含了矩陣的主要資訊
只保留前r個較大其奇異值及其對應的特徵向量（一般r=d/10）可實現資料從nd降維到（nr+ rr + rd）。
矩陣線性變換：
矩陣相乘對原始變數同時施加方向變化和尺度變化；
對於特殊向量（特徵向量），矩陣只作用尺度變化（特徵值）沒有方向變化。
矩陣秩：度量矩陣行列之間的相關性。矩陣的各行或列之間是線性無關的---矩陣滿秩（秩等於行數）。
資料點分布：表示資料需要的最小的基的數量：
資料分布模式容易捕捉；
資料冗餘度；
結構化資訊（各行之間相關性，一般是低秩的）。
卷積神經網路卷積和池化是卷積神經網路的兩大特質。全連線網路模型引數數量6442，卷積神經網路模型引數數量6422，卷積神經網路訓練需要的引數少一些？，最終對測試集的判斷正確率比傳統神經網路高，但是打亂畫素後卷積神經網路優勢就體現不出來了。然後記錄了一些速查短語：
input：輸入
kernel/filter：卷積核/濾波器
weights：權重
receptive field:感受野
activation map 或者=feature map：特徵圖
padding
depth/channel：深度
output:：輸出
stride：步長
改變batchsize和epoch可以提高模型的準確率嗎？
啊 換了種網路結構提高了？
第3次作業 卷積神經網路
1.機器學習中的數學基礎 2.機器學習三要素 模型 策略 演算法。3.卷積神經網路的基本組成 卷積 池化 全連線。卷積神經網路的典型結構。應用 分類 檢索 檢測 分割 人臉識別，影象生成影象風格轉化 損失函式用來衡量吻合度。傳統神經網路與之區別 全連線網路 引數太多 權重矩陣的引數太多，造成過擬合 ...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...