一、線性代數
1、定義深度學習相關的主要線性代數數學模型包括標量、向量、矩陣和張量。
2、計算方式
加減法比較簡單，都是點對點加減，形態不變。
乘法方式不同可能導致形態變化。
如向量可點積（變為乙個值），也可以叉積。二維向量叉積等於
矩陣可以點對點乘積，也可以矩陣乘積
3、範數
l0、l1和l2範數各有不同特點和作用
二、微積分
導數、偏導數、梯度（所有偏導數的向量）
三、資訊量和資訊熵
1、資訊量：對於某隨機事件x，其發生的概率為p(x)（0到1之間），則該事件x具有的資訊量為i(x)=-log2p(x)。
可以看出資訊量和事件概率成反比。事件概率為1是，資訊量為0。事件概率為0.5時，資訊量為1。
以2為對數的底，是因為最簡單的資訊只具有兩種可能，因此所有的事件都可以用2進製來表示。1bit就可以表示事件空間=2，而n bit則可以表示的事件空間為2n。
2、資訊熵：資訊熵是i(x)在所有事件xi的資訊量與該事件概率乘積的和。
h§=-σp(xi)log2p(xi)
3、kl三度（相對熵）、交叉熵
演算法（一） 數學基礎知識
在開始正式的演算法學習之前，先學一點數學的基礎知識，有助於後面的學習。當然你已經具備這些知識，可以跳過這節內容。本人建議 即使一下內容你都學過，也溫故一下。該數學基礎知識一共包括四個部分，分別是 級數 用於時間和空間複雜度的計算 離散數學相關知識概率論相關知識線性代數相關知識 這部分內容在高等數學裡...
深度學習的數學基礎要求
書目如下 概率論與統計 概率與統計 北京大學出版社 陳家鼎degroot,morris h.and mark j.schervish.probability and statistics.3rd ed.boston 高等代數 線性代數 introduction to linear algebra,f...
3 數學基礎與深度學習
紮實的數學基礎是學習和研究深度學習的前提。沒有線性代數和統計學相關的知識，無法真正理解任何機器學習演算法的核心思想。在此要求所有的新生學習相關的數學基礎課程。prof.gilbert strang在mit講的線性代數 膜拜 是工科領域最強線代。來自cmu，世界上最好的工科統計學教材。學習內容 書上全...