機器學習之相關數學基礎

2022-07-04 10:21:14 字數 1712 閱讀 4916

1)函式

2)極限

3)導數

4)極值和最值

5)泰勒級數

6)梯度

7)梯度下降

1)基本概念

2)行列式

3)矩陣

4)最小二乘法

5)向量的線性相關性

1)事件

2)排列組合

3)概率

4)貝葉斯定理

5)概率分布

6)期望和方差

7)引數估計

1)p2 概率論與貝葉斯先驗

2)p3 矩陣和線性代數

建議大家邊看邊做筆記,記錄要點及所在時間點,以便有必要的時候回看。學習筆記也是作業的一部分。

1)p2 概率論與貝葉斯先驗

2)p3 矩陣和線性代數

矩陣和線性代數主要內容有如下幾點:

用到的線性代數知識有:

1.方陣的行列式之間的運算

2.代數余子式

3.範德蒙行列式vandermonde

4.矩陣的乘法

5.矩陣的秩

6.秩與線性方程組的解的關係

7.正交陣

8.特徵值和特徵向量

9.正定陣

(2)用自己的話總結「梯度」,「梯度下降」和「貝葉斯定理」,可以word編輯,可做思維導圖,可以手寫拍照,要求言簡意賅、排版整潔。

梯度的本意是乙個向量(向量),表示某一函式在該點處的方向導數沿著該方向取得最大值,即函式在該點處沿著該方向(此梯度的方向)變化最快,變化率最大(為該梯度的模)。簡單說在單變數的實值函式的情況,梯度只是導數,或者,對於乙個線性代數,也就是線的斜率。

梯度下降是迭代法的一種,可以用於求解最小二乘問題(線性和非線性都可以)。在求解機器學習演算法的模型引數,即無約束優化問題時,梯度下降是最常採用的方法之一。簡單說就是從山頂上找乙個最快,最陡峭的路線下山

貝葉斯定理:貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因(即大事件a已經發生的條件下,分割中的小事件

的概率),設

是樣本空間ω的乙個劃分,則對任一事件a(p(a)>0),有貝葉斯定理:

對於特徵集合x,我們想要知道樣本在這個特徵集合x下屬於哪個類別,即求後驗概率p(c|x)最大的類標記。這樣基於貝葉斯公式,可以得到:

貝葉斯定理是用來描述兩個條件概率之間關係的定理,比如p(a|b)和p(b|a),通常,事件a在事件b發生的條件下的概率與事件b在事件a的條件下的概率是不一樣的,但是這兩者之間有確定的關係,貝葉斯法則就是這種關係的陳述。

機器學習相關的數學基礎

finney,weir,giordano 托馬斯微積分 葉其孝,王耀東,唐兢譯.第10版.北京 高等教育出版社 2003 1 steven j.leon.線性代數 張文博,張麗靜譯.第8版.北京 機械工業出版社 william mendenhall等.統計學 梁馮珍,關靜譯.第5版.北京 機械工業出...

2 機器學習相關數學基礎

1.高等數學 1 函式 2 極限 3 導數 4 極值和最值 極值點 是在一階導數等於0的點,2階導大於0是極小值,2階導小於0是極大值.2階導等於0是拐點,不是極值點.最值 在定義域內的最大最小值 5 泰勒級數 6 梯度 7 梯度下降 2.線性代數 1 基本概念 2 行列式 3 矩陣 4 最小二乘法...

2 機器學習相關數學基礎

一 學習筆記 1.線性代數 1 基本概念 2 矩陣 3 向量 2.概率論 1 事件 2 概率 3 概率分布 4 期望和方差 二 關於 梯度 梯度下降 和 貝葉斯定理 梯度 梯度是乙個向量,它的方向與取得最大方向導數的方向一致,而它的模為方向導數的最大值。即函式在該點處沿著梯度的方向變化最快,變化率最...