深層神經網路
簡稱為深度學習有兩個非常重要的特性
1. 多層
2. 非線性
線性模型的侷限性 :例如前面的神經網路有兩層(不算輸入層)，但是它和單層的神經網路井沒有區別,任意線性模型的組合仍然還是線性模型,然而線性模型能夠解決的問題是有限的
下面用tensorflow playground來演示 線性模型的侷限性
還是以判斷零件是否合格為例，輸入為 x1 和巧，其中 x1 代表乙個零件質量和平均質量 的差， x2代表乙個零件長度和平均長度的差。 假設乙個零件的質量及長度離平均質量及長度越近，那麼這個零件越有可能合格
藍色的點代表合格的零件，而黃色的點代表不合格的零件。可以看到雖然藍色和黃色的點有一些重合，但是大部分代表合格零件的藍色點都在原點(0,0)的附近，而代表不合格零件的黃色點都在離原點相對遠的地方。 這樣的分布比較接近真實問題，因為大部分真實的問題都存在大致的趨勢，但是很難甚至無法完全正確地區分不同的類別,下面我們用線性模型嘗試著去解決這個問題
頂部 (activation) 選擇線性(linear)
這和前面設定的神經網路結構是基本一致的,通過模型訓練100+輪候,在最右邊可以看到訓練結果
從左到右有隱約有數條分界線,說明這個模型只能用直線來劃分平面,對於這種環形的分布是不適用的(屬於線性不可分問題)
而把資料切換成gaussian高斯分布
回到判斷零件是否合格的問題， 如果將啟用函式換成非線性的,比如relu啟用函式,神經網路模型就可以很好的區分不同顏色的點(零件)了
啟用函式實現去線性化
如果將每乙個神經元\\
Tensorflow 深層神經網路
維基百科對深度學習的定義 一類通過多層非線性變換對高複雜性資料建模演算法的合集.tensorflow提供了7種不同的非線性啟用函式,常見的有tf.nn.relu,tf.sigmoid,tf.tanh.使用者也可以自己定義啟用函式.3.1.1 交叉熵 用途 刻畫兩個概率分布之間的距離,交叉熵h越小,兩...
Tensorflow筆記之深層神經網路
前面的學習中已經介紹了tensorflow的基本概念。下面會學習深層神經網路。深層神經網路的定義為 一類通過多層非線性變換對高複雜性資料建模演算法的合集。因為深層神經網路是實現 多層非線性變換 最常用的一種方法。深度學習具有兩個非常重要的特性 多層和非線性。1 線性模型的侷限性 當模型的輸入有n個時...
tensorflow學習3 搭建自己的神經網路
這一節講的主要是構造乙個自己的神經網路。import tensorflow as tf import numpy as np 構造資料 x data np.linspace 1,1,300,dtype np.float32 np.newaxis 在 1 到 1之間生成300個資料，noise np....