6.7 門控迴圈單元（gru）
重點：迴圈神經網路模型計算中的依賴關係圖。
當總的時間步數較大或者當前時間步較小時，迴圈神經網路的梯度較容易出現衰減或**。
裁剪梯度可以應對梯度**，但無法解決梯度衰減的問題。通常由於這個原因，迴圈神經網路在實際中較難捕捉時間序列中時間步距離較大的依賴關係。
門控迴圈神經網路（gated recurrent neural network）的提出，正是為了更好地捕捉時間序列中時間步距離較大的依賴關係。它通過可以學習的門來控制資訊的流動。
動手學深度學習
線性回歸的基本要素 模型 為了簡單起見，這裡我們假設 只取決於房屋狀況的兩個因素，即面積 平方公尺 和房齡 年 接下來我們希望探索 與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係 price warea area wage age b price warea area wage a...
《動手學深度學習》學習記錄00 初始設定
筆記為複習所用，從 動手學深度學習 的資源中摘抄。其 為 動手學深度學習 環境配置需要注意點 2 終端開啟 對應資料夾，輸入jupyter notebook可以開啟筆記本 3 jupyter notebook中要開啟自己的虛擬環境，需要安裝 conda install nb conda 4 書籍資源...
動手學深度學習（一）
其中 w1 和 w2 是權重 weight b 是偏差 bias 且均為標量。訓練資料 損失函式 通常，我們用訓練資料集中所有樣本誤差的平均來衡量模型 的質量 w 1,w 2,b 為使訓練樣本平均損失最小的解 優化演算法 b 代表每個小批量中的樣本個數 批量大小，batch size 稱作學習率 l...