引用：線性整流函式/20263760?fr=aladdin
線性整流函式（rectified linear unit, relu）,又稱修正線性單元, 是一種人工神經網路中常用的啟用函式（activation function），通常指代以斜坡函式及其變種為代表的非線性函式。
通常意義下，線性整流函式指代數學中的斜坡函式，即
線性整流函式在基於斜坡函式的基礎上有其他同樣被廣泛應用於深度學習的變種，譬如帶洩露線性整流(leaky relu)， 帶洩露隨機線性整流(randomized leaky relu)，以及雜訊線性整流(noisy relu).
帶洩露線性整流
在輸入值 為負的時候，帶洩露線性整流函式（leaky relu）的梯度為乙個常數 ，而不是0。在輸入值為正的時候，帶洩露線性整流函式和普通斜坡函式保持一致。換言之，
在深度學習中，如果設定 為乙個可通過反向傳播演算法（backpropagation）學習的變數，那麼帶洩露線性整流又被稱為引數線性整流（parametric relu）。
帶洩露隨機線性整流
帶洩露隨機線性整流（randomized leaky relu,rrelu）最早是在kaggle全美資料科學大賽（ndsb）中被首先提出並使用的。相比於普通帶洩露線性整流函式，帶洩露隨機線性整流在負輸入值段的函式梯度 是乙個取自連續性均勻分布概率模型的隨機變數，即
其中 且 。
雜訊線性整流
雜訊線性整流（noisy relu）是修正線性單元在考慮高斯雜訊的基礎上進行改進的變種啟用函式。對於神經元的輸入值，雜訊線性整流加上了一定程度的正態分佈的不確定性，即
其中隨機變數 。當前雜訊線性整流函式在受限玻爾茲曼機（restricted boltzmann machine）在計算機圖形學的應用中取得了比較好的成果。
機器學習 單層神經網路線性回歸從零實現
單層神經網路有線性回歸和softmax回歸，這篇部落格先討論一下線性回歸問題 y x w b其中w為權重weight，b為偏差bias l w,b 1 2 y y 2 w b argmin l w,b 本文採用的優化演算法為小批量隨機梯度下降mini batch stochastic gradien...
人工神經網路 多層神經網路
模型原型 sklearn.neural network.mlpclassifier hidden layer sizes 100,activation relu algorithm adam alpha 0.0001,batch size auto learning rate constant le...
人工神經網路
人工神經網路 artificial neural network,ann 通過對大量歷史資料的計算來建立分類和 模型。神經網路的學習就是通過迭代演算法對權值逐步修改優化的過程。學習的目標是通過修改權值是訓練樣本集中所有樣本都能被正確分類。人工神經元用於模擬生物神經元，人工神經元可以看作乙個多輸入 單...