從根本上分析 RNN網路梯度消失的原因

2021-10-21 02:07:05 字數 318 閱讀 3211

和cnn等深度神經網路梯度消失的原因不同,rnn中所謂的梯度消失並不是真正意義上的梯度消失,準確的說應該是梯度消散

rnn 中同樣的優化引數在各個時刻共享,最終的梯度 g = 各個時間步的梯度 g_t 的和;較遠時刻的輸出對相比於相鄰時刻的輸出,梯度的計算需要更多次求導運算,這就導致遠距離的梯度更容易消失或**,換乙個角度來說,rnn中的總梯度不會消失,而是遠距離輸出對應的梯度更容易消失,從而導致模型難以學到遠距離的依賴關係

關於lstm介紹請參考為篇文章->#通俗理解# lstm網路

雲辦公市場和消費市場的不同,是根本上的差別

國內雲辦公市場和消費市場的情況,對比國外一直是很有趣的,雲辦公在國外已經很成熟了,但在國內卻還在緩慢發展,而國內的消費市場卻是國外比不上的。乙個雲辦公產品,對質量要求高,需要穩健的發展,而消費產品,則需要大量擴張,雲辦公的客戶都是企業,當這些客戶購買之後,需要好幾個月的時間讓員工學習和習慣產品,並且...