原理就是在第一次學習的過程中，隨即忽略一些神經元和神經的鏈結。使得神經網路變得不完整。一次一次。。。。。每一次得出的結果不依賴某乙個引數。這樣就解決了過擬合問題。
import tensorflow as tffrom sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import labelbinarizer
#load data
digits = load_digits()
x = digits.data
y = digits.target
y = labelbinarizer().fit_transform(y)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=.3)
# 傳入的引數有輸入層，輸入大小，輸出大小，還有乙個激勵函式，預設是none(線性函式)
def add_layer(inputs, in_size, out_size, layer_name, activation_function=none, ):
weights = tf.variable(tf.random_normal([in_size, out_size])) # 定義權重為隨機變數，因為隨機變數生成初始變數要比0好很多。形狀是：2行3列
biases = tf.variable(tf.zeros([1, out_size]) + 0.1)
wx_plus_b = tf.matmul(inputs, weights) + biases # matmul是矩陣的乘法。還沒被啟用的值存在這個變數中
#將這個結果50%不考慮 其實就是dropout
wx_plus_b = tf.nn.dropout(wx_plus_b, keep_prob)
if activation_function is none:
outputs = wx_plus_b
else:
outputs = activation_function(wx_plus_b)
tf.summary.histogram(layer_name + '/outputs', outputs)
return outputs
#define placeholder for input.784個畫素點
keep_prob = tf.placeholder(tf.float32)#需要定義乙個引數，保持多少的如果不被drop掉
xs = tf.placeholder(tf.float32, [none, 64]) #x的是8x8的64個單位
ys = tf.placeholder(tf.float32, [none, 10]) #輸出是十個單位，分別描述0123456789
#add output layer. softmax一般是用來做分類的函式
l1 = add_layer(xs, 64, 50, 'l1',activation_function=tf.nn.tanh)
prediction = add_layer(l1, 50, 10, 'l2', activation_function=tf.nn.softmax)
#the error between prediction and real data.在softmax來說，這個cross_entropy演算法做分類，生成分類演算法
cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction), reduction_indices=[1]))#loss
tf.summary.scalar('loss', cross_entropy)
train_step = tf.train.gradientdescentoptimizer(0.5).minimize(cross_entropy)
sess = tf.session()
merged = tf.summary.merge_all()
#summary writer goes in here
train_writer = tf.summary.filewriter("a://logs/train", sess.graph)
test_writer = tf.summary.filewriter("a://logs/test", sess.graph)
#important stetp
if int((tf.__version__).split('.')[1]) < 12 and int((tf.__version__).split('.')[0]) < 1:
init = tf.initialize_all_variables()
else:
init = tf.global_variables_initializer()
sess.run(init)
for i in range(500):
sess.run(train_step, feed_dict=)#一般會有50%的結果(被)drop
if i % 50 == 0:
#記錄loss
train_result = sess.run(merged, feed_dict=) #記錄result的時候不要drop任何東西
test_result = sess.run(merged, feed_dict=)
#載入到writer,第i次學習
train_writer.add_summary(train_result, i)
test_writer.add_summary(test_result, i)
dropout防止過擬合
l1 l2正則化是通過修改代價函式來實現的，而dropout則是通過修改神經網路本身來實現的，它是在訓練網路時用的一種技巧 trike 它的流程如下 假設我們要訓練上圖這個網路，在訓練開始時，我們隨機地 刪除 一半的隱層單元，視它們為不存在，得到如下的網路 保持輸入輸出層不變，按照bp演算法更新上圖...
Dropout與過擬合
假設我們要訓練這樣乙個神經網路 輸入是x輸出是y，正常的流程是 我們首先把x通過網路前向傳播，然後把誤差反向傳播以更新引數讓網路進行學習。使用dropout之後過程變成 隨機 臨時 刪掉網路中一半的隱藏神經元，輸入輸出神經元保持不變 下圖中虛線為部分臨時被刪除的神經元 把輸入x通過修改後的網路前向傳...
防止過擬合（二） Dropout
深度學習筆記 欠擬合 過擬合 防止過擬合 一 正則化 防止過擬合 三 資料增強 在 2012 年，hinton 等人在其 improving neural networks by preventing co adaptation of feature detectors 中使用了 dropout 方...