全部筆記的彙總貼：《深度學習》花書-讀書筆記彙總貼
一種極具毀滅性的捨入誤差是下溢（underflow），當接近零的數被四捨五入為零時發生下溢。另乙個極具破壞力的數值錯誤形式是上溢（overflow），當大量級的數被近似為∞
\infty
∞或−∞
-\infty
−∞時發生上溢。
必須對上溢和下溢進行數值穩定的乙個例子是 softmax 函式（softmax function），softmax 函式經常用於**與 multinoulli 分布相關聯的概率，定義為sof
tmax
(xi)
=exp(
xi)∑
j=in
exp(x
j)
softmax(x_i)=\frac^n\exp(x_j)}
softma
x(xi
)=∑
j=in
exp(x
j)exp(x
i)
條件數表徵函式相對於輸入的微小變化而變化的快慢程度。輸入被輕微擾動而迅速改變的函式對於科學計算來說可能是有問題的，因為輸入中的捨入誤差可能導致輸出的巨大變化。
我們在負梯度方向上移動可以減小f
ff。這被稱為最速下降法(method of steepest descent) 或梯度下降（gradient descent）。
hessian矩陣等價於梯度的 jacobian 矩陣，對應得點就是對應的特徵方向的二階偏導值。
例如，牛頓法求解（到時候會在學《統計學習方法》的附錄時單獨講解）。
簡單來說就是希望在找f(x
)f(x)
f(x)
的最大值或最小值的時候，給x
xx新增一些約束。
karush–kuhn–tucker（kkt）方法是針對約束優化非常通用的解決方案。
kkt條件（確定最優點的必要非充分條件）：
廣義lagrangian的梯度為零；直接看課本p85的描述。所有關於x
xx和kkt乘子的約束都滿足；
不等式約束顯示的「互補鬆弛性」：α⊙h
(x)=
0\alpha\odot h(x)=0
α⊙h(x)
=0
花書讀書筆記（十四） 表示學習
全部筆記的彙總貼 深度學習 花書 讀書筆記彙總貼 我們可以將監督學習訓練的前饋網路視為表示學習的一種形式。具體地，網路的最後一層通常是線性分類器，如 softmax 回歸分類器。網路的其餘部分學習出該分類器的表示。監督學習訓練模型，一般會使得模型的各個隱藏層 特別是接近頂層的隱藏層 的表示能夠更加容...
雲計算讀書筆記（三）
amazon雲計算aws 亞馬遜的雲是業界比較領先的雲，主要包括彈性計算雲ec2，簡單儲存服務s3，簡單資料庫服務 db，簡單佇列服務sqs，彈性mapreduce服務，內容推送服務cloudfront，電子商務服務devpay和fps等。基礎儲存架構 dynamo dynamo以簡單的鍵值儲存，不...
數值分析與演算法 讀書筆記（三）
線性方程組的直接解法 線性方程組 linear equation system 可寫成如下形式 a11x 1 a12 x2 a1n xn b 1a21x 1 a22 x2 a2n xn b 2 am 1x1 am2x 2 amnx n bm 若m n，這種線性方程組稱為超定方程組 若 m n，線性方...