這一章主要介紹了ann,cnn,rnn,lstm,vae,gan
利用神經網路(ann)識別數字
防止過擬合的懲罰項
ann是很複雜的模型，非常容易發生過擬合，通用的方法是加入懲罰項，常用的懲罰項有三種：
防止過擬合之dropout
在訓練模型的每一步中隨機暫時剔除一些神經元，在**時，使用完整的網路，同時需要將相應的神經元輸出擴大到原來的
倍，p是每個神經元被保留的概率。
卷積神經網路(cnn)
ann丟失了畫素之間的位置關係，cnn可以捕捉畫素之間的位置關係和模擬人眼對影象的模糊處理
cnn的結構為：輸入層，卷積層，池化層，全連線層。其中，卷積層和池化層是為了提取影象特徵，全連線層相當於輸出層
遞迴神經網路(rnn)
當前神經元的輸出不但能影響後面神經元的狀態，還能通過網路影響它前面的神經元。這相當於在神經網路裡建立起時間或上下文的概念。
生產中應用廣泛的一種遞迴神經網路：長短期記憶(lstm),被廣泛用於語音識別，自然語言處理和機器翻譯等領域。
記長期記憶為
，短期記憶為
，模型輸入為
,則長期記憶的更新機制為
若記憶力度為
，則若更新力度為
,表示多大比例的長期記憶將轉換成短期記憶，候選新增記憶為
長期記憶的更新公式為
非監督學習
vae=神經網路+生成式模型
vae屬於全連線網路，網路結構通常是對稱的，輸入層和輸出層的神經元個數相同，模型訓練的目標是讓輸入層與輸出層越相似越好。
通過神經網路的前半部分，找到相應的隱藏狀態，這一步稱為編碼；然後根據得到的隱藏狀態和後半部分神經網路得到還原之後的資料，這一步稱為解碼，理想情況下，解碼之後得到的資料近似等於訓練資料，通過這樣的模型，我們可以得到資料不可觀測的類別（資料的隱藏狀態）
gan
求 精通資料科學 從線性回歸到深度學習 PDF
本markdown編輯器使用stackedit修改而來，用它寫部落格，將會帶來全新的體驗哦 markdown 是一種輕量級標記語言，它允許人們使用易讀易寫的純文字格式編寫文件，然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題，將某些文字標記為粗體或者斜體，建立乙個鏈結等，詳細...
深度學習 TensorFlow 輸入資料處理框架
將mnist資料集中的所有訓練資料儲存到tfrecord檔案中 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input data import numpy as np 生成整數型屬性 轉換型別 將輸入...
資料科學導論課程筆記（二） 資料視覺化
資料視覺化是一項致力於把抽象的資料或概念轉化為適於人類理解和接受的視覺化的資訊的技術。是乙個典型的交叉學科，涉及電腦科學，認知心理學，美學和藝術設計等學科，涉及資料處理 演算法設計和軟體開發和人機互動等多種知識和技能。視覺化是一種以影象 圖表或動畫的形式進行有效資訊傳遞的技術。它的主要目的在於，作為...