1.雙曲正切啟用函式
2.徑向基函式(radial basis function, rbf)
常見的隱藏單元型別之一，徑向基函式是乙個取值僅依賴於到原點距離的實值函式，即
3.架構(architecture)
神經網路設計的另乙個關鍵點是確定它的架構。 架構一詞是指網路的整體結構:它應該具有多少單元，以及這些單元應該如何連線。
4.萬能近似性質
5.前向傳播(forward propagation)
當我們使用前饋神經網路接收輸入 x 並產生輸出 yˆ 時，資訊通過網路向前流 動。輸入 x 提供初始資訊，然後傳播到每一層的隱藏單元，最終產生輸出 yˆ。這稱 之為 前向傳播。在訓練過程中，前向傳播可以持續向前直 到它產生乙個標量代價函式 j(θ)。
6.反向傳播(back propagation)
反向傳播演算法 (rumelhart et al., 1986c)，經常簡稱為backprop，允許來自代價函式的資訊通過網路向後流動，以便計算梯度。計算梯度的解析表示式是很直觀的，但是數值化地求解這樣的表示式在計算上 的代價可能很大。反向傳播演算法使用簡單和廉價的程式來實現這個目標。反向傳播這個術語經常被誤解為用於多層神經網路的整個學習演算法。實際上， 反向傳播僅指用於計算梯度的方法，而另一種演算法，例如隨機梯度下降，使用該梯度來進行學習。此外，反向傳播經常被誤解為僅適用於多層神經網路，但是原則上它 可以計算任何函式的導數(對於一些函式，正確的響應是報告函式的導數是未定義的)。 bp演算法在神經網路中主要是用來訓練引數的，計算代價函式關於引數的梯度，將最後的誤差分攤到前面的每一層中去。
7.張量(tensor）
引用陳維桓先生的《微分流形初步》一書中的一段話進行總結: 張量的概念是 g.ricci 在19世紀末提出的. g.ricci 研究張量的目的是為幾何性質和物理規律的表達尋求一種在座標變換下不變的形式. 他所考慮的張量是如同向量的分量那樣的陣列, 要求它們在座標變換下服從某種線性變換的規律. 近代的理論已經把張量敘述成向量空間及其對偶空間上的多重線性函式, 但是用分量表示張量仍有它的重要性, 尤其是涉及張量的計算時更是如此.
機器學習術語總結 1 個人向
一.術語解釋 1.數值解與閉解 解析解 數值解就是具體的值，如 x 1,y 2 這類的。閉解就是用函式所表達出來的解，如 x y t 等 2.最大似然估計 是用來估計乙個概率模型的引數的一種方法。簡單來說就是，比如我又乙個樣本x1,x2,x3.xn,它服從某個以 最大似然估計就是求 3.元件 機器學...
機器學習術語總結 2 個人向
一.術語 1.凸集 在點集拓撲學與歐幾里得空間中，凸集 convex set 是乙個點集合，其中每兩點之間的直線點都落在該點集合中。2e.凸函式凸函式是乙個定義在某個向量空間的凸子集 c 區間 上的實值函式 f，如果在其定義域 則是凸函式，上述不等式中，左部分是介於x和y之間的一點，右部分是基於線性...
機器學習術語總結 7 個人向
卷積網路，也叫做 卷積神經網路 convolutional neural network,cnn 是一種專門用來處理具有類似網格結構的資料的 神經網路。例如時間序列資料 可以認為是在時間軸上有規律地取樣形成的一維網 格 和影象資料 可以看作是二維的畫素網格 卷積網路在諸多應用領域都表現優 異。卷積是...