maxout是一種啟用函式。
整個maxout網路也是一種非線性的變換；maxout的擬合能力是非常強的，它可以擬合任意的的凸函式。最直觀的解釋就是任意的凸函式都可以由分段線性函式以任意精度擬合。
缺點是這個演算法引數個數會成k倍增加(k是maxout的乙個引數)。
它並不是乙個固定的函式，沒有乙個固定的函式方程；它是乙個可學習的啟用函式，因為我們w引數是學習變化的。
它實質是在幾個輸入中選擇max輸出。
它相當於在每個輸出神經元前面又多了一層。
這一層有5個神經元，此時maxout網路的輸出計算公式為：
z1=w1*x+b1
z2=w2*x+b2
z3=w3*x+b3
z4=w4*x+b4
z5=w5*x+b5
out=max(z1,z2,z3,z4,z5)
深度學習基礎（1） 啟用函式
前言 這篇文章首先回答了乙個人們都忽略的問題 在神經網路中，乙個小小的啟用函式為何如此重要？它的作用到底是什麼？然後我就目前主流的啟用函式做了乙個對比討論，並提出一些建議。啟用函式的本質 這裡首先引出結論 啟用函式是來向神經網路中引入非線性因素的，通過啟用函式，神經網路就可以擬合各種曲線。具體解釋可...
深度學習 啟用函式
如下圖，在神經元中，輸入的 inputs 通過加權，求和後，還被作用了乙個函式，這個函式就是啟用函式 activation function。啟用函式的這些特性可以很好地解釋我們為什麼要用啟用函式。函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思...
深度學習 啟用函式
主要作用 加入非線性因素，彌補線性模型表達不足的缺陷 sigmoid函式 隨著 x xx 的趨近正 負無窮，y yy 對應的值越來越接近 1 1，趨近飽和 因此當 x xx 100 和 x xx 1000 的差別不大，這個特性丟掉了 x xx 1000 的資訊 tanh函式 對sigmoid函式的值...