2 機器學習相關數學基礎

1.高等數學

1）函式

2）極限

3）導數

4）極值和最值

極值點：是在一階導數等於0的點,2階導大於0是極小值,2階導小於0是極大值.2階導等於0是拐點,不是極值點.

最值：在定義域內的最大最小值

5）泰勒級數

6）梯度

7）梯度下降

2.線性代數

1）基本概念

2）行列式

3）矩陣

4）最小二乘法

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

3.概率論

1）排列組合

所謂排列，就是指從給定個數的元素中取出指定個數的元素進行排序。組合則是指從給定個數的元素中僅僅取出指定個數的元素，不考慮排序。

排列組合的中心問題是研究給定要求的排列和組合可能出現的情況總數。排列組合與古典概率論關係密切。

2）概率

3）貝葉斯定理

4）概率分布

5）期望和方差

3.作業要求：

用自己的話總結「梯度」，「梯度下降」和「貝葉斯定理」

梯度：在向量微積分中，標量場的梯度是乙個向量場。標量場中某一點的梯度指向在這點標量場增長最快的方向（當然要比較的話必須固定方向的長度），梯度的絕對值是長度為1的方向中函式最大的增加率。

在單變數的實值函式的情況，梯度只是導數，或者，對於乙個線性函式，也就是線的斜率。

梯度一詞有時用於斜度，也就是乙個曲面沿著給定方向的傾斜程度。可以通過取向量梯度和所研究的方向的內積來得到斜度。梯度的數值有時也被稱為梯度。

梯度下降：首先，要明確梯度是乙個向量，是乙個n元函式f關於n個變數的偏導數，比如三元函式f的梯度為(fx,fy,fz)，二元函式f的梯度為(fx,fy），一元函式f的梯度為fx

。然後要明白梯度的方向是函式f增長最快的方向，梯度的反方向是f降低最快的方向。

貝葉斯定理: 為了估測乙個事件a的真實概率，我們對該事件加入乙個實驗結果，即似然函式，當似然函式大於1，則先驗概率被增強，a事件發生可能性變大：當似然函式小於1，則先驗概率被削弱，a事件發生可能性變小。