sigmoid函式：f(z)=1/(1+e^(-z))
tanh函式：tanh(x)=e^x-e^(-x)/(e^x+e^(-x))
relu函式：relu = max(0,x)
maxout函式：1、熵表示物體內部的混亂程度。（一件事發生的不確定性）
2、h(x)=- ∑ p(x)logp(x)
3、所有的概率值都是0-1之間，那麼最終的h（x）必然也是乙個正數啦！比如乙個雜貨市場，有100件不同的商品，每件物品選到的概率很低，那麼h(x)=- ∑ p(x)logp(x) 對應的值就大，也就是不確定性高a、分類越好，熵值越小; 分類任務越不好，熵值越大，這個可以算的
b、比如分類[1,1,1,a,a,a,-,-,-]，如果3堆都是[1,a,-]，那麼熵值就是3（3堆）*3（每堆三種元素）*1/3*log 1/3沒激勵函式為線性：如果不用激勵函式（其實相當於激勵函式是f(x) = x），在這種情況下你每一層節點的輸入都是上層輸出的線性函式，很容易驗證，無論你神經網路有多少層，輸出都是輸入的線性組合
逼近任何函式：正因為上面的原因，我們決定引入非線性函式作為激勵函式，這樣深層神經網路表達能力就更加強大（不再是輸入的線性組合，而是幾乎可以逼近任意函式）。1、sigmoid 是常用的非線性的啟用函式
2、能夠把連續值壓縮到0-1區間上
3、缺點：殺死梯度，非原點中心對稱a、輸出值全為整數會導致梯度全為正或者全為負
b、優化更新會產生階梯式情況，收斂效果慢a、原點中心對稱
b、輸出在-1到1之間
c、梯度消失現象依然存在1、relu啟用函式 解決了梯度消失現象，計算速度更快
2、因為relu函式是max(0,x)，所以會殺死一部分神經元
3、解決relu函式殺死神經元問題：max(0.01x,x)
人工智慧數學參考 7 核函式應用
一些低維很難解決的問題，切換到高維，可能會很簡單泊松分布就是把時間段分細，用二次分布來計算每個時間段事情是否發生，然後求極限就會得到泊松分布的式子 p n t n t n e t n p n t n t n e t n 影象有點像正態分佈p n 2 n 3 2 0 e 3 2 0 0.0025 p ...
A 人工智慧 數學基礎
a.數學基礎 線性代數 基本概念 標量向量 矩陣範數 l1 向量絕對值之和 l2 向量的長度 lp p趨於無窮 向量中最大元素的取值 內積兩個向量之間的相對位置 余弦相似度 線性空間 內積空間 內積空間 正交基 標準正交基 特徵值和特徵向量 矩陣特徵值和特徵向量的動態意義在於表示了變化的速度和方向。...
人工智慧數學基礎 矩陣
人工智慧數學基礎系列文章 今天覆習矩陣，作為程式設計師，矩陣在程式中的應用想必或多或少都接觸過，特別是在影象變化演算法上的應用。1.定義 以上是乙個三元一次方程組，根據矩陣的 定義，有矩陣a如下圖 2.矩陣的運算 2.1.矩陣的加法 從上圖中我們可以看出，矩陣a和矩陣b相加，它們都是2 x 2的矩陣...