微積分是現代數學的基礎，線性代數，矩陣論，概率論，資訊理論，最優化方法等數學課程都需要用到微積分的知識。單就機器學習和深度學習來說，更多用到的是微分。積分基本上只在概率論中被使用，概率密度函式、分布函式等概念和計算都要借助於積分來定義或計算。
幾乎所有的機器學習演算法在訓練或者**時都是求解最優化問題，因此需要依賴於微積分來求解函式的極值，而模型中某些函式的選取，也有數學性質上的考量。對於機器學習而言，微積分的主要作用是：
1.求解函式的極值
2.分析函式的性質
下面列出機器學習和深度學習中所需的微積分知識點，顯然，不是課本裡所講的所有內容都是需要的，我們只列出所必須的！
極限：極限是高等數學和初等數學的分水嶺，也是微積分這座大廈的基石，是導數、微分、積分等概念的基礎。雖然在機器學習裡不直接用到極限的知識，但要理解導數和積分，它是必須的。
上確界與下確界：這一對概念對工科的微積分來說是陌生的，但在機器學習中會經常用到，不要看到**或書裡的sup和inf不知道什麼意思。
導數：其重要性眾所周知，求函式的極值需要它，分析函式的性質需要它。典型的如梯度下降法的推導，logistic函式導數的計算。熟練地計算函式的導數是基本功。
lipschitz連續性：這一概念在工科教材中同樣沒有提及，但對分析演算法的性質卻很有用，在gan，深度學習演算法的穩定性、泛化效能分析中都有用武之地。
導數與函式的單調性：某些演算法的推導，如神經網路的啟用函式，adaboost演算法，都需要研究函式的單調性。
導數與函式的極值：這個在機器學習中處於中心地位，大部分優化問題都是連續優化問題，因此可以通過求導數為0的點而求函式的極值，以實現最小化損失函式，最大化似然函式等目標。
導數與函式的凹凸性：在凸優化，jensen不等式的證明中都有它的應用。
泰勒公式：又乙個核心知識點。在優化演算法中廣泛使用，從梯度下降法，牛頓法，擬牛頓法，到adaboost演算法，梯度提公升演算法，xgboost的推導都離不開它。
不定積分：積分在機器學習中使用的相對較少，主要用於概率的計算中，它是定積分的基礎。
定積分：包括廣義積分，被用於概率論的計算中。機器學習中很大一類演算法是概率型演算法，如貝葉斯分類器，概率圖模型，變分推斷等。這些地方都涉及到對概率密度函式進行積分。
變上限積分：分布函式是典型的變上線積分函式，同樣主要用於概率計算中。
牛頓-萊布尼茲公式：在機器學習中很少直接使用，但它是微積分中最重要的公式之一，為定積分的計算提供了依據。
常微分方程：在某些**中會使用，但一般演算法用不到。
偏導數：重要性不用多說，機器學習裡絕大部分函式都是多元函式，要求其極值，偏導數是繞不開的。
梯度：決定了多元函式的單調性和極值，梯度下降法的推導離不開它。幾乎所有連續優化演算法都需要計算函式的梯度值，且以尋找梯度為0的點作為目標。
高階偏導數：確定函式的極值離不開它，光有梯度值還無法確定函式的極值。
鏈式法則：同樣使用廣泛，各種神經網路的反向傳播演算法都依賴於鏈式法則。
hessian矩陣：決定了函式的極值和凹凸性，對使用工科教材的同學可能是陌生的。
多元函式的極值判別法則：雖然不直接使用，但對理解最優化方法至關重要。
多元函式的凹凸性判別法則：證明乙個問題是凸優化問題是離不開它的。
jacobian矩陣：工科教材一般沒有介紹這一概念，但和hessian矩陣一樣，並不難理解，使用它可以簡化多元復合函式的求導公式，在反向傳播演算法中廣泛使用。
向量與矩陣求導：常見的一次函式，二次函式的梯度，hessian矩陣的計算公式要爛熟於心，推導並不複雜。
泰勒公式：理解梯度下降法，牛頓法的優化演算法的基石。
多重積分：主要用於概率論中，計算隨機向量的積分，如正態分佈。
偏微分方程：在某些理論推導中可能會使用，如變分法中的尤拉-拉格朗日方程。
微積分學習筆記五 多元函式微積分
1 二元函式偏導數定義 設函式z f x,y 在點 x y 的某鄰域有定義，固定y y 是x從 x 變到 x delta x 時，函式的變化為 f x delta x,y f x y 如果極限 lim frac delta x,y f x y 存在，則稱此極限為z f x,y 在 x y 對x的偏導...
微積分學習筆記五 多元函式微積分
1 二元函式偏導數定義 設函式z f x,y 在點 x y 的某鄰域有定義，固定y y 是x從 x 變到 x delta x 時，函式的變化為 f x delta x,y f x y 如果極限 lim frac delta x,y f x y 存在，則稱此極限為z f x,y 在 x y 對x的偏導...
深度學習數學基礎之微積分 chat分享預告
最近這兩三年，深度學習技術逐步成為了 it 圈最熱門的技術。大多數軟體工程師 計算機方向的在校生都嘗試過做一些深度學習方面的學習和實踐。但是很多人在學習深度學習的第一步就被數學這只攔路虎給擋住了，繼而很多人就調轉方向，遠離深度學習這個熱門而又神奇的ai技術。本場 chat 試圖從深度學習工程實踐的視...