sequence models：
image
unsupervised learning
reinforcement learning
反映在**中：
while epoch < epochs: # for j in
range(epochs):
epoch += 1
for mini_batch_index in
range(n_train_batches):
iter = (epoch-1)*n_train_batches + mini_batch_index
# 迭代次數以mini_batch為單位
instead of using the test_data to prevent overfitting（避免模型過於複雜）, we will use the validation_data.
也即我們使用validation_data避免過擬合，而不是使用test_data。
我們不僅通過validation data的使用避免過擬合，更一般地，我們使用validation data進行超參的選擇。
我們在validation data上所做的工作和在test data上做的工作是一樣的，那就是在每次epoch（一次epoch，表示對全部資料進行一次訓練，當然在對全部資料進行訓練時也可採用**s**tochastic **g**radient **d**escent的學習方法）結束之時，計算這次的分類精度。一旦在validation data上的分類精度出現了飽和的情況（也即增高不顯著），我們就停止訓練。這種策略就叫做early stopping。
當然在實際中，我們也並非立刻就能知道何時發生精確率的飽和現象。我們將繼續對模型的訓練，直到我們有足夠的自信確定精確率發生飽和。
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
神經網路的認識（一）神經網路的認識
特徵提取 我的理解就是將物體資料化，將乙個實體盡可能的描述成計算機可以懂得話，就比如定義乙個人，姓名 性別 愛好 出生地 出生日期 這樣可以給他打足夠多的標籤，就可以定義他是誰了，這個標籤就是特徵。使用神經網路有4個步驟 提取問題中實體的特徵向量作為神經網路的輸入，不同實體可以提取不同的特徵向量 定...