一.術語
1.凸集
在點集拓撲學與歐幾里得空間中，凸集（convex set）是乙個點集合，其中每兩點之間的直線點都落在該點集合中。
2e.凸函式凸函式是乙個定義在某個向量空間的凸子集 c（區間）上的實值函式 f，如果在其定義域
則是凸函式，上述不等式中，左部分是介於x和y之間的一點，右部分是基於線性插值得到的f(x)的近似，因此如果任何兩點的線性插值大於函式的值，那麼該函式就是凸的。
3.凸優化
或叫做凸最優化，凸最小化，是數學最優化的乙個子領域，研究定義於凸集中的凸函式最小化的問題。凸優化在某種意義上說較一般情形的數學最優化問題要簡單，譬如在凸優化中區域性最優值必定是全域性最優值。凸函式的凸性使得凸分析中的有力工具在最優化問題中得以應用，如次導數等。
4.整流線性單元
或者稱為 relu ，啟用函式的一種，g(z) = max。該啟用函式是被推薦用於大多數前饋神經網路的預設啟用函式。將此 函式用於線性變換的輸出將產生非線性變換。然而，函式仍然非常接近線性，在這種意義上它是 具有兩個線性部分的分段線性函式。由於整流線性單元幾乎是線性的，因此它們保留了許多使得 線性模型易於使用基於梯度的方法進行優化的屬性。它們還保留了許多使得線性模型能夠泛化良 好的屬性。電腦科學的乙個公共原則是，我們可以從最小的元件構建複雜的系統。就像圖靈機 的記憶體只需要能夠儲存 0 或 1 的狀態，我們可以從整流線性函式構建乙個萬能函式近似器。
5.交叉熵
在資訊理論中，基於相同事件測度的兩個概率分布
基於概率分布
其中6.正則化
機器學習中防止過擬合最常用的方法之一，主要的思路是新增懲罰項。下式中最右的累加部分就是正則化部分。
7.代價函式
是用來衡量模型**出來的值h(θ)與真實值y之間的差異的函式，用來評價我們的**模型的好壞。貫穿神經網路設計的乙個反覆出現的主題是代價函式的梯度必須足夠的大和具 有足夠的**性，來為學習演算法提供乙個好的指引。
8.飽和函式
簡單來說就是這個函式在超過某個x值之後，即使x增加很大，y值也不怎麼變化，趨於飽和。飽和(變得非常平)的函式把梯度變得非常小。這在很多情況下都會發生，因為用於產生隱藏單元或者輸出單元的輸出的啟用函式會飽和。
9.泛函
我們可能有乙個**器 f(x;θ)，我們想用它來** y 的均值。如果我 們使用乙個足夠強大的神經網路，我們可以認為這個神經網路能夠表示一大類函 數中的任何乙個函式 f，這個類僅僅被一些特徵所限制，例如連續性和有界，而不 是具有特殊的引數形式。從這個角度來看，我們可以把代價函式看作是乙個 泛函(functional)而不僅僅是乙個函式。泛函是函式到實數的對映。我們因此可以將學習 看作是選擇乙個函式而不僅僅是選擇一組引數。
10.正定矩陣
乙個n×n的實對稱矩陣
意義：1.正定矩陣變化後（如求逆還是正定矩陣）
2.特徵值全為正。
11.協方差矩陣
協方差（covariance）在概率論和統計學中用於衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況，即當兩個變數是相同的情況。協方差表示的是兩個變數的總體的誤差，這與只表示乙個變數誤差的方差不同。 如果兩個變數的變化趨勢一致，也就是說如果其中乙個大於自身的期望值，另外乙個也大於自身的期望值，那麼兩個變數之間的協方差就是正值。 如果兩個變數的變化趨勢相反，即其中乙個大於自身的期望值，另外乙個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。
在統計學與概率論中，協方差矩陣（也稱離差矩陣、方差-協方差矩陣）是乙個矩陣，其 i, j 位置的元素是第 i 個與第 j 個隨機向量（即隨機變數構成的向量）之間的協方差。這是從標量隨機變數到高維度隨機向量的自然推廣。
二.問題
用於實現最大似然估計的交叉熵代價函式的特性:對於實值的輸出變數，如果模型可以控制輸出分 布的密度(例如，通過學習高斯輸出分布的方差引數)，那麼它可能對正確的訓練集 輸出賦予極其高的密度，這將導致交叉熵趨向負無窮。
如果對正確的訓練集有極高的密度，那麼p(y|x)應該趨近於1，log函式應該比趨近於0要小才對，怎麼會趨向負無窮呢？
機器學習術語總結 1 個人向
一.術語解釋 1.數值解與閉解 解析解 數值解就是具體的值，如 x 1,y 2 這類的。閉解就是用函式所表達出來的解，如 x y t 等 2.最大似然估計 是用來估計乙個概率模型的引數的一種方法。簡單來說就是，比如我又乙個樣本x1,x2,x3.xn,它服從某個以 最大似然估計就是求 3.元件 機器學...
機器學習術語總結 4 個人向
1.雙曲正切啟用函式 2.徑向基函式 radial basis function,rbf 常見的隱藏單元型別之一，徑向基函式是乙個取值僅依賴於到原點距離的實值函式，即 3.架構 architecture 神經網路設計的另乙個關鍵點是確定它的架構。架構一詞是指網路的整體結構 它應該具有多少單元，以及這...
機器學習術語總結 7 個人向
卷積網路，也叫做 卷積神經網路 convolutional neural network,cnn 是一種專門用來處理具有類似網格結構的資料的 神經網路。例如時間序列資料 可以認為是在時間軸上有規律地取樣形成的一維網 格 和影象資料 可以看作是二維的畫素網格 卷積網路在諸多應用領域都表現優 異。卷積是...