近期因工作需要，開始學習機器學習。學習心得體會，定期更新梳理出來，首次接觸，可能有理解和解釋不到位的地方，望批評指正，也算是自我提公升。
提到機器學習，樓主第一反應是各種複雜的公式，各種搞不定的矩陣計算、積分、微分、熵等，甚至還專門為此重新學習了線性代數。其實從機器學習的角度去看數學知識，基本的高等數學、概率論等已經滿足需求。
以下回顧三個常用的數學知識，並和機器學習中的數學簡單關聯。
****
先從乙個問題出發，求如下s的值： s=
10!+
11!+
12!+
13!+
14!+
...+
1n!+
...
問題分析：
如果令f(x
我們知道所有對數函式都會經過點(1，0)，則在底數a為何值時，(1，0)處的導數為1呢？我們知道f(x)的極限值： f(
x+δx
)−f(
x)δx
=loga(
x+δx
)−loga(x
)δx=
loga(x
+δxδ
x)1δ
x 由於在(1，0)處的導數為1，則當δx
趨於無窮小時：
loga(1
+δx)
1δx=
1 等價於：
由此引入自然對數e，上述問題的極限，即s的值也為e。
****
簡單來說，導數就是曲線的斜率，是曲線變化快慢的體現。二階導數就是曲線斜率變化快慢的反映。
我們知道，如果函式z=f(x,y)在點p(x,y)處的導數存在，則函式在該點任意方向l上的偏導數都存在，並且有： ∂(
f)∂(
l)=∂
(f)∂
(x)c
osφ+
∂(f)
∂(l)
sinφ
其中φ 為x軸到方向l的轉角。
上述公式可用矩陣表述為： ∂(
f)∂(
l)=(
∂(f)
∂(x)
,∂(f
)∂(l
))⋅(
cosφ
,sin
φ)t
兩個向量在什麼時候點乘最大呢？由於：a⋅
b=|a
||b|
cosφ
答案是同方向的時候，點乘最大，所以機器學習的乙個經典演算法–梯度下降，形如從山頂走到山腳，以最快的速度下降，採用的就是當前所在位置的偏導數，沿著偏導數的方向下降，能以最快的速度到達目的地。 (∂
(f)∂
(x),
∂(f)
∂(l)
) 為函式z=f(x,y)在p點的梯度，記做gradf(x,y)。
梯度的方向是函式在當前點變化最快的方向。
** 先看乙個典型的古典概率問題：將12個**和3個次品，隨機裝在3個箱子中，每箱裝5件，則每個箱子恰好有乙個次品的概率是多少？
先把15個產品裝入3個箱子，共有裝法：15!/(5!5!5!)
3個次品裝入3個箱子，共有：3!種裝法。然後把12個**裝入3個箱子，每個4件，共有裝法：12!/(4!4!4!)
所以概率p(a)=(3!*12!/(4!4!4!))/(15!/(5!5!5!))
乙個通用的問題：n個物品分成k組，使得每組物品的個數分別為n1、n2、……、nk（n=n1+n2+……+nk），則不同的分組方法有：n!
n1!n
2!…n
k!當n趨於無窮大時，我們來求乙個特殊的值： h=
1nln
n!n1
!n2!
…nk!
由於n趨於無窮大時，lnn!—–>n(lnn-1)
上述計算等價於： ln
n−1−
1n∑i
=1kn
i(ln
ni−1
)=−1
n（∑i
=1kn
i(ln
ni)−
nlnn
)=−1
n∑i=
1k(n
i(ln
ni)−
niln
n)=−
1n∑i
=1k(
niln
nin)
=−∑i
=1k(
ninl
nnin
) 共有n個盒子，ni
n 相當於第i個盒子的頻率，即p，上述h最後轉換為： h=
−∑i=
1k(p
i)ln
(pi)
這個式子我們認識有木有，熵由此引出。
機器學習與數學分析
機器學習是人工智慧的乙個分支。我們使用計算機設計乙個系統，使他能夠提供的訓練資料按照一定的方式來學習 隨著訓練次數的增加，該系統可以在效能上不斷學習和改進 通過引數優化的學習模型，能夠用於 相關問題的輸出。1 機器學習可以解決的問題 給定資料的 問題，包括資料清洗 特徵選擇，確定演算法模型 引數優化...
機器學習與數學分析
一 機器學習的定義 對於某給定的任務t，在合理的效能度量方案p的前提下，某電腦程式可以自主學習任務t的經驗e 隨著提供合適 優質 大量的經驗e，該程式對於任務t的效能逐步提高。二 機器學習的物件 一 任務task t，乙個或多個 二 經驗experience e 三 效能performance p ...
機器學習與數學分析
一 機器學習基本理論 1.基本概念 機器學習是人工智慧的乙個分支。我們使用計算機設計乙個系統，使他能夠提供的訓練資料按照一定的方式來學習 隨著訓練次數的增加，該系統可以在效能上不斷學習和改進 通過引數優化的學習模型，能夠用於 相關問題的輸出。1 1 機器學習可以解決的問題 給定資料的 問題，包括資料...