在機器學習中，把需要最大化或者最小化的函式稱為目標函式。而在其中一大部分都是最小化，在最小化的優化中，目標函式又被稱為代價函式(cost function)或者損失函式(loss function)。
假設有乙個函式 y=
f(x)
，導數 f′
(x) 代表了 f(
x)在點x上的斜率。求導對於機器學習中優化問題的有很重要的意義。例如在梯度下降中，優化的方向就是導數為負的方向。
通常，導數為零的點就是我們的優化目的地，不管是全域性的優化還是區域性的優化。
當乙個函式的變數有很多的時候，我們如果只想知道在點x處只有乙個變數xi
變化時函式的變化，此時，就需要用到偏導數的概念了。
有時我們需要計算輸入和輸出都為向量的函式的所有偏導數，包含這樣的偏導數的矩陣被稱為jacobian矩陣。如果我們有乙個函式
f ，那麼
f的jacobian矩陣為ji
,j=∂
∂xjf
(x)i
假設在時間-路程的關係中，速度這個概念就是導數的概念，它表示了路程隨之間的變化率的關係，那麼加速度就是二階導數的概念，二階導數代表著導數的導數，即速度的變化率。
當我們的函式具有多維輸入時，我們可以將這些導數合併為乙個矩陣，稱為hessian矩陣。其定義為：h(
f)(x
)i,j
=∂2∂
xi∂x
jf(x
) 由於有：∂2
∂xi∂
xjf(
x)=∂
2∂xj
∂xif
(x)
所以有hi
,j=h
j,i ，由此可以知道hessian矩陣是個對稱矩陣。
在梯度下降中，使用的是梯度，也就是一階導數，而在牛頓法中，使用的是hessian矩陣，是二階導數。
有時候，在x的所有可能值下最大化或者最小化乙個目標函式不是我們所希望的。我們有時會有一些限定條件，在這些限定條件下去尋找最優化的目標，這種行為稱為約束優化
數學基礎 求解優化問題的演算法比較
在對比演算法之前，我們先給出不同型別問題的定義 p問題 可以在多項式時間內求解的問題 np問題 可以在多項式時間內驗證解是否為問題的解，猜解和驗證解的過程，np問題存在多項式級的演算法，所有的p類問題都是np問題，p np npc問題 不存在多項式求解演算法的問題 npc問題是乙個np問題，所有的n...
數學建模優化模型簡單例題 數學建模優化問題經典練習
動力和機器裝置，製造乙個容器所需的各種資源的數量如表所示 資源小號容器 中號容器 大號容器 金屬板 t 勞動力 人 月 機器裝置 臺月 不考慮固定費用，每種容器售出乙隻所得的利潤分別為 萬元，萬元，萬元，可使用的金屬板有 500t 勞動力有 人月，機器有 臺月，此外，不管每種容器製造的數量是多少，都...
directx數學基礎
向量 也叫向量，英文叫vector 向量就是包含大小 長度 和方向的乙個量。向量有2維的，也有3維甚至4維的。在dx的所有結構體中，有乙個結構體是用來表示3維向量的，它就是d3dvector，這個結構體很簡單，只有三個成員 x y z。一般來說，如果不涉及到向量運算的話，用這個結構體來定義乙個向量就...