機器學習是人工智慧的分支。我們使用計算機設計乙個系統改過訓練資料按照一種方式進行學習。隨著訓練次數的增加，該系統可以在效能上不斷的進行改進與學習，通過引數優化的學習模型，能夠用來**相關問題的輸出。
資料收集==》資料清洗==》抽取特徵工程==》資料建模==》模型的使用
需要先進行工具原理的了解，之後才能進行資料的選擇
導數乙個導數簡單的說指的是曲線的斜率。而二階導數則是只的斜率變化的快慢，反應了曲線的凹凸性。
梯度乙個函式在某乙個點的偏導確定，如果存在某個方向 l 函式沿著該方向下降的速度最快則稱這個方向為該函式的梯度。
∂ f(
x,y)
∂lx,
y=∂f
(x,y
)∂
xcosφ
+∂f(
x,y)
∂y
sin
φ\frac}=\frac\cos\varphi+\frac\sin\varphi\\\\
∂lx,y
∂f(x
,y)
=∂x∂
f(x,
y)cosφ+
∂y∂f
(x,y
)sinφ
其中上式也可以寫成
∂ f(
x,y)
∂l=(
∂f(x
,y)∂
x∂f(
x,y)
∂x)(
cos
φsinφ
)\frac=\begin\frac&\frac\end(\begin\cos\varphi\\\sin\varphi\end)
∂l∂f(x
,y)
=(∂x
∂f(x
,y)
∂x∂
f(x,
y)
)(cosφ
sinφ)
凸函式與凹函式
如果乙個函式滿足以下的條件則稱之為凸函式否則稱之為凹函式。
f (θ
x+(1
−θ)y
)≤θf
(x)+
(1−θ
)f(y
)，θ≤
1f(\theta x + (1 - \theta )y) \le \theta f(x) + (1 - \theta )f(y) ， \theta \le 1
f(θx+(
1−θ)
y)≤θ
f(x)
+(1−
θ)f(
y)，θ
≤1對於一元函式來說其凸函式的含義表示其兩點之間的割線位於函式值的上方。
針對多元函式來說，其hession矩陣為正定矩陣的情況下，表示函式為凸函式。這個性質可以用來求多元函式的極值。
正定矩陣ta
x≥
0ax \ge 0
xtax≥0
。其中xtxt
表示x的轉置，就稱a正定矩陣。
對於矩陣a，其每個特徵值都大於等於0的情況下為半正定矩陣。而如果矩陣為負的情況下為負正定矩陣。
hessian矩陣
hession也就是多元函式二階導數所得到的乙個矩陣。如果這個矩陣在某個區間內為正定矩陣則為凸函式，如果為負正定矩陣則為凹函式。聯絡到一階函式中的凸函式與凹函式可以得知，在凹函式區間內可以求出極大值，在凸函式區間可以求出極小值。
機器學習 數學基礎
scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...
機器學習 數學基礎
前言 適用本人，在學習中記錄要用的數學知識。1.約束最優化問題求解 拉格朗日乘子法和kkt條件 2.何為二次型，二次型怎麼轉化為標準型及其意義，二次型的矩陣表示，通過正交線形變換將二次型變換為標準型 求該正交線性變換和對應的標準型 3.正定矩陣，半正定矩陣 定義 a是n階方陣，如果對任何非零向量x，...
深度學習 應用數學與機器學習基礎 1
如果你很熟悉線性代數，那麼你可以跳過本節 1 標量 向量 矩陣和張量 2 矩陣和向量相乘 矩陣乘法是矩陣運算中最重要的操作之一。兩個矩陣相乘是第三個矩陣。c aba的列數必須和b的行數相等。兩個矩陣中對應元素相乘被稱為元素對應乘積或者badamard乘積。記為 a b 兩個相同維數的向量x和y的點積...