l2正則化是一種減少過擬合的方法，在損失函式中加入刻畫模型複雜程度的指標。假設損失函式是j(
θ)，則優化的是j(
θ)+λ
r(w)
，r(w
)=∑n
i=0|
w2i|
。在tensorflow中的具體實現過程如下：
#coding:utf-8
import tensorflow as tf
defget_weight
(shape,lambda):
var = tf.variable(tf.random_normal(shape),dtype=tf.float32)
tf.add_to_collection("losses",tf.contrib.layers.l2_regularizer(lambda)(var))#把正則化加入集合losses裡面
return var
x = tf.placeholder(tf.float32,shape=(none,2))
y_ = tf.placeholder(tf.float32,shape=(none,1))#真值
batcg_size = 8
layer_dimension = [2,10,10,10,1]#神經網路層節點的個數
n_layers = len(layer_dimension)#神經網路的層數
cur_layer = x
in_dimension = layer_dimension[0]
for i in range (1,n_layers):
out_dimension = layer_dimension[i]
weight = get_weight([in_dimension,out_dimension],0.001)
bias = tf.variable(tf.constant(0.1,shape(out_dimension)))
cur_layer = tf.nn.relu(tf.matmul(x,weight)) + bias)
in_dimension = layer_dimension[i]
ses_loss = tf.reduce_mean(tf.square(y_ - cur_layer))#計算最終輸出與標準之間的loss
tf.add_to_collenction("losses",ses_loss)#把均方誤差也加入到集合裡
loss = tf.add_n(tf.get_collection("losses"))
#tf.get_collection返回乙個列表,內容是這個集合的所有元素
#add_n()把輸入按照元素相加
L2正則化的TensorFlow實現
tensorflow實現l2正則化 tensorflow的最優化方法tf.train.gradientdescentoptimizer包辦了梯度下降 反向傳播，所以基於tensorflow實現l2正則化，並不能按照上節的演算法直接干預權重的更新，而要使用tensorflow方式 tf.add to ...
tensorflow實現L2正則化的方法總結
l2正則化通常是指在損失函式後面新增乙個額外的l2正則化項，又稱l2範數 l2範數 定義為向量中所有元素的平方和的開平方 目的是為了防止網路過擬合。l2正則化防止過擬合的原理可以參考這篇部落格 tensorflow中計算l2正則化項的方法有tf.nn.l2 loss 和tf.contrib.laye...
L1正則化和L2正則化
為了降低過擬合風險，需要控制模型複雜度，自然想到減少引數個數，但是這個問題不易直接解決，可以通過放寬條件控制。新增優化條件 這會使引數條件空間有明顯的凸角，這些突出點顯然會成為聯合優化時的最優解，但同時這些這些凸點中又會有較多的0值 由其限制條件可見，凸點都在座標軸上 因此l1範數會更易得到稀疏解，...