方差：
標準差：
均方差（mean square error,mse）：
均方誤差是反映估計量與被估計量之間差異程度的一種度量，換句話說，引數估計值與引數真值之差的平方的期望值。mse可以評價資料的變化程度，mse的值越小，說明**模型描述實驗資料具有更好的精確度。
協方差：
協方差在概率論和統計學中用於衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況，即當兩個變數是相同的情況。協方差表示的是兩個變數的總體的誤差，這與只表示乙個變數誤差的方差不同。 如果兩個變數的變化趨勢一致，也就是說如果其中乙個大於自身的期望值，另外乙個也大於自身的期望值，那麼兩個變數之間的協方差就是正值。 如果兩個變數的變化趨勢相反，即其中乙個大於自身的期望值，另外乙個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。
海塞矩陣：
黑塞矩陣常用於牛頓法解決優化問題，利用黑塞矩陣可判定多元函式的極值問題。在工程實際問題的優化設計中，所列的目標函式往往很複雜，為了使問題簡化，常常將目標函式在某點鄰域展開成泰勒多項式來逼近原函式，此時函式在某點泰勒展開式的矩陣形式中會涉及到黑塞矩陣。
二元函式中，在x=0點用拉格朗日定理逼近原函式時有
其中g為海塞矩陣：
同理，多元函式二階求導可得海塞矩陣：
如果函式 f在區域d內二階連續可導，那麼黑塞矩陣在d內為對稱矩陣。
設n多元實函式f在點m的鄰域內有二階連續偏導，對於海塞矩陣a
（1）當a正定矩陣時， 在m處是f的極小值；
（2）當a負定矩陣時， 在m處是f的極大值；
（3）當a不定矩陣時， m不是f的極值點。
（4）當a為半正定矩陣或半負定矩陣時， m是「可疑」極值點，尚需要利用其他方法來判定。
雅可比矩陣：
在向量分析中，雅可比矩陣是函式的一階偏導數以一定方式排列成的矩陣，其行列式稱為雅可比行列式。
奇異值分解：
其中u是m×m階酉矩陣；σ是半正定m×n階對角矩陣；而v*，即v的共軛轉置，是n×n階酉矩陣。這樣的分解就稱作m的奇異值分解。σ對角線上的元素σi，其中σi即為m的奇異值。
機器學習 數學基礎
scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...
機器學習 數學基礎
前言 適用本人，在學習中記錄要用的數學知識。1.約束最優化問題求解 拉格朗日乘子法和kkt條件 2.何為二次型，二次型怎麼轉化為標準型及其意義，二次型的矩陣表示，通過正交線形變換將二次型變換為標準型 求該正交線性變換和對應的標準型 3.正定矩陣，半正定矩陣 定義 a是n階方陣，如果對任何非零向量x，...
《現代控制工程》負載元件方程的推導
現代控制工程 第五版 5.3.1 章節中講述，伺服系統由比例控制器和負載元件 慣性和黏性摩擦元件 組成。假設我們希望控制輸出位置 c，使其與輸入位置 r 相協調。負載元件方程為 jc b c t 式中，t 為比例控制器產生的力矩。以下為該方程的推導 黏性摩擦係數 viscous friction c...