神經元是神經網路的基本單元
神經元是神經網路的基本單元
神經元是神經網路的基本單元
這裡聽到了一點：
啟用函式為什麼叫啟用函式，而不叫其他的名字
因為參考的是生物體的神經元
神經元需要的是電刺激達到某個閾值才會做出反應，所以叫啟用
一般的啟用函式都是將值域限制在很小的範圍內
這樣很合理，因為不限制的話很可能會隨著層數的增加導致輸出值越來越大
一般的啟用函式都是非線性
這樣很合理，因為很多問題不是線性關係可以解決的
我覺得也可以說非線性包含線性
如何深刻記住
sigmoid
首先是s形狀
然後是中心對稱點在y軸上，（0，0.5）
這樣一比劃，影象就很自然的描出來了。
至於它的公式，就是硬記了，注意x前面的負號
根據數學概念，如果負號變正號，那麼影象就會左右翻轉。
這個很好記
我覺得記住公式影象自然就記住了
多說一點：
因為x小於0時的梯度為零
在算梯度的時候可能會出現梯度為零的情況
所以會有relu函式的變形
如leaky-relu等
IT薪水發展史
1k 兄弟別做it了，不論你是什麼公司，國營的做it就是配角，那位兄弟願意一輩子做配角，非國營的嗎，看看做什麼別的合適，it不好混，趁早離開 1k 3k 初級階段，一般是剛進公司的，肯定非常缺錢，這時候動力足，也有時間，沒有男 女朋友拖累,象公司內部5k 6k的高手學習。什麼，沒有，什麼爛公司，你也...
記憶體發展史
記憶體 容量 指標 時期出現原因 simm記憶體 30pin 256kb 1982年至今 軟體程式和新一代80286硬體平台的出現 simm記憶體 72pin 512kb 2mb 1988 1990 pc迎來386和486時代，cpu向16bit發展 edo dram 4 16mb 電壓 5v 頻寬...
前端發展史
不知道什麼時候開始，前端開發已經到了不開乙個 watcher 就無法工作的地步了。不依賴 gulp babel webpack，還能優雅地寫 嗎？那我就帶你來回顧一下這一切是怎麼發生的。從哪開始說好呢？我們就從 前端打包 開始吧。前端打包 很久以前 也就五年左右吧，但是五年前端已經大變樣了 頁面的 ...