習題4-1
設損失函式為j
jj，則對於第一層的引數w(1
)w^
w(1)
更新公式為
katex parse error: undefined control sequence: \part at position 9: \cfrac+\vec)\\ f=max\\\ y=\vec^t\vec+\vec $$
習題4-3
比如，引數的初始化導致一些神經元在開始的時候就無法被啟用，引數再迭代中也無法被更新。
又或者一旦這個神經元引數在一次迭代更新中導致wx+b<0，那麼就會導致「死亡」。
修正一下relu函式，採用帶洩露的relu作為啟用函式
l ea
kyre
lu
=x&x>0\\\gamma x&x\le0\end
leakyr
elu=
\big)\big(\cfrac+1\big)+\cfrac+1\\=n\big(\cfrac+1\big)
(l−1)(
l−1n
−1)
(l−1
n−1
+1)+
l−1n
−1+
1=n(
l−1n
−1+
1)習題4-6
**題目：**證明通用近似性質對於具有線性輸出層和至少乙個使用relu啟用函式的隱藏層組成的前饋神經網路，也都是適用的。
證明在這篇**中有詳細證明過程，證明過程太過繁瑣，超出我的能力範圍。
習題4-7
精確擬合偏置所需的資料通常比擬合權重少得多。每個權重會指定兩個變數如何相互作用。我們需要在各種條件下觀察這兩個變數才能良好地擬合權重。而每個偏置僅控制乙個單變數。這意味著，我們不對其進行正則化也不會導致太大的方差。另外，正則化偏置引數可能會導致明顯的欠擬合。
習題4-8
可能會出現兩種問題
習題4-9
不可以，梯度以指數級減小，增加學習率只是飲鴆止渴。甚至有可能一開始學習率過大，讓它在錯誤的路上一去不復返
前饋神經網路
前饋神經網路 ffnn 由乙個輸入層，一到多個隱藏層，有乙個輸出層組成。資料通過網路一層層向後傳遞，直到輸出層，之間沒有反饋迴路。前饋神經網路可得到的函式 1 有乙個隱藏層的網路，可形成任意乙個連續函式 2 有倆個及以上的隱藏層，可形成任意函式，包括連續函式和離散函式 說明 設計乙個計算函式的網路，...
機器學習筆記 第四章 神經網路
本文為 前面的章節學習了線性回歸和邏輯演算法，實際上很多複雜的非線性分類器都依賴於神經網路演算法。當特徵值的個數過多時，多元回歸方程的高階多項式的個數將以幾何倍數增加，特徵空間將會很大。而對於很多機器學習的例子，特徵值的個數是很大的，例如影象識別，一副中的畫素個數就代表了特徵值的數量，如果再用二次項...
第四章習題
一。填空題 1 基 派生 2 單繼承 多繼承 3 私有繼承方式 4 公有 保護 5 多繼承 6 支配原則 7 解決二義性 8 使用作用域運算子 引進虛基類 二。選擇題 1 5 b cd abc c a 6 10 c b d ad a 三。判斷題 f t f t f f 四。簡答題 1.在物件導向技術...