bp演算法原理：
說明：不管cnn,dnn,rnn等深度學習網路架構，最核心的還是使用梯度下降法進行優化。通過bp演算法可以看出，權值的更新只跟殘差和啟用值有關。並且，下一層的殘差，僅僅是上一層殘差的加權和。也就是說，對於任何深度網路的架構，層與層的聯絡只有殘差。這樣就非常方便我們在構建深度網路的時候，能夠模組化。也即每層網路就單獨一層。然後上層網路只需要將接收到的殘差加權一下，傳給下一層即可了。
重點：因為深度網路可以這樣高度模組化。所以，我們可以構建任何結構的網路，只要它能適用於我們的問題即可。並無需擔心優化問題。因為，再複雜的結構也是由一些子模組構成，子模組之間的聯絡也只是殘差。所以，現在就很容易理解任何網路結構，以前總是擔憂這種網路能否優化，其實都是多慮了。比如說實現這個cnn，也只需呼叫各種開源庫的子模組，然後將網路結構連線好。整個優化也是，每個模組接受上一層的殘差，然後加權一下後，將殘差傳遞給下一層，然後再更新引數。
深度學習 深度學習的四大元件
這四大元件就是 這四者的關係描述如下 多層組合在一起形成了網路，網路的目的是將輸入資料對映為 值，通過損失函式將 值和目標值比較，得出損失值，用來衡量網路的效能，而優化器的職責是迭代優化損失值來更新網路權重 bp演算法 層 構建網路的樂高積木 深度學習模型的最常見用法是層的線性堆疊，將單一輸入對映為...
常用的深度學習框架
在深度學習中，一般通過誤差反向傳播演算法來進行引數學習。採用手工方式來計算梯度再寫 實現的方式會非常低效，並且容易出錯。此外，深度學習模型需要的計算機資源比較多，一般需要在cpu和gpu之間不斷進行切換，開發難度也比較大。因此，一些支援自動梯度計算 無縫cpu和gpu切換等功能的深度學習框架就應運而...
元件化程式設計的一點思考
最近學了vue和springcloud 兩者乙個為目前三足之一的前端框架，乙個是後端主流的微服務治理的框架。看似沒有什麼共同點，其實從系統架構的角度思考，還是有一些共同之處的。vue是將頁面上的重複利用的一些div結構元件化，單獨設計成乙個元件，以便復用。這樣一來，結構和邏輯就相當清晰了，而且減少了...