部落格主要內容講解來自於網易課堂:斯坦福cs231n
————————–下面是一篇特別偷懶的部落格————————–
求微分有兩種方法,可以通過改變變數的值,如x−
>x+
θ ,也可以直接求導求出微分.dd
xf(x
)=li
mθ−>0f
(x+θ
)−f(
x)θ
這種方法的優點是發生錯誤的概率比較小,較為精確,但是缺點是在參數量特別大的時候,計算很慢.
這種方法的優點是很快.但是由於式子較複雜,容易出現錯誤.所以就結合兩者進行梯度檢驗.選擇部分資料,分別求兩種積分,看看是否相等.(當然只有第一次需要判斷**是否正確,如果正確就可以講梯度檢驗的**刪除.)
本來想著詳細寫的,後來發現畫圖真的是太麻煩啦…latex在畫圖上真的不太會,所以如果你想知道這個後向傳播的過程,就去看一下上面這個課程對應的章節,你會發現他講的真不錯,下面貼一下我的手稿,以後要是當老師啦.我一定會好好準備這個細節內容.哈哈哈哈…
深度學習 前向傳播與後向傳播例項推導
舉例 假設乙個有兩個隱藏層，每個隱藏層有乙個神經元且接著乙個sigmoid啟用函式的神經網路例子，輸入為x0,輸出為pre，真實值為rel,經過第乙個線性層為x11,第乙個啟用函式為x12 第二個線性層為x21,第二個啟用函式為x22 一 1.首先需要知道輸出 pre sig w2 sig w1 x...
2 8 後向引用
當乙個正規表示式被分組之後，每乙個組將自動被賦予乙個組號，該組號可以代表該組的表示式。其中，組號的編制規則為 從左到右 以分組的左括號 為標誌，第乙個分組的組號為1，第二個分組的組號為2，以此類推。反向引用提供查詢重複字元組的方便的方法。它們可被認為是再次匹配同乙個字串的快捷指令。後向引用可以使用數...
前言 後向變現
在今天，網際網路思維 被越來越多各行業追捧，試圖通過網際網路改變行業發展。但是很多人的困惑在於 這麼多免費的服務是如何獲得收入 盈利的呢？實際上，如果把多樣的網際網路產品或服務看成硬幣的正面，那麼會發現，其中許多硬幣的背面都有著一樣的圖案，這就是以廣告為核心的後向變現體系。正面的免費服務是為了獲得流...