在開始第二節之前，先簡單回顧一下第一節的內容，第一節講了如何在給定引數（w，b）和資料集（x(i),y(i)）的前提下計算神經網路，最後思考如何找到最優的（w,b）,這一節我們緊緊圍繞我們的目的即找到最優的（w，b）展開。既然要最優，就要用到最優化的演算法，在開始之前先來看一下什麼是最優化演算法，以及常用的最優化演算法。字面意思：能使**的值與我們想要的結果或者實際值最接近的演算法我們稱之為最優化演算法。比如本例神經網路中我們想要一組引數（w,b），這組引數能使函式
常用的最優化演算法有：梯度下降法、隨機梯度下降法、批量隨機梯度下降法、梯度上公升法、隨機梯度上公升法、批量隨機梯度上公升法等這裡只列舉以上幾個演算法，因為我們後面要用到。（梯度上公升法和梯度下降法本質上是一樣的只不過乙個像是爬山的時候怎麼樣爬的快，乙個是下山的時候怎麼樣下的快）
正式開始第二節：
假設我們有乙個固定樣本集
這是乙個（二分之一的）方差代價函式。給定乙個包含 m 個樣例的資料集，我們可以定義整體代價函式為：
其中我們首先來講一下如何使用反向傳播演算法來計算
以上兩行公式稍有不同，第一行比第二行多出一項，是因為權重衰減是作用於w 而不是 b。
神經網路與深度學習讀書筆記第二天
書本 學習的基本是梯度下降演算法，因為之前大概了解這個演算法是怎麼回事，所以看得特別快。這本書講的數學相對而言更加簡單容易理解。簡單總結今天學習的東西 w，b的定義跟上一節的定義一樣。參考這個 介紹完公式後，書上撇開了公式開始講梯度下降演算法 想象 c 是乙個只有兩個變數v1 和v2的簡單函式 然後...
第二天git學習記錄
就是你在電腦裡能看到的目錄，放你所有的檔案需要版本控制的 工作區有乙個隱藏目錄.git，這個不算工作區，而是git的版本庫。git的版本庫里存了很多東西，其中最重要的就是稱為stage 或者叫index 的暫存區，還有git為我們自動建立的第乙個分支master，以及指向master的乙個指標叫he...
linux C學習記錄第二天
exit 退出當前賬號，返回上乙個賬號 su 切換使用者 普通使用者切換root需要加 sudo 獲取許可權 groupadd groupdel 看英文很容易分辮哪個是新增，哪個是刪除的 後面直接加需要新增的 組name 1，檢視使用者組資訊 cat etc group 例如這個組 gec x 10...