在過去的十年中，效能最佳的人工智慧系統（例如智慧型手機上的語音識別器或google最新的自動翻譯器）源自「深度學習」技術。實際上，深度學習是一種稱為神經網路的人工智慧方法的新名稱，這種方法已經流行了70多年。神經網路由沃倫·麥卡洛（warren mccullough）和沃爾特·皮茨（walter pitts）於2023年首次提出，這是兩位芝加哥大學的研究人員，他們於2023年移居麻省理工學院，有時是第乙個認知科學系的創始成員。
神經網路是一組演算法，以人腦為基礎進行鬆散建模，旨在識別模式並分層構建。他們通過一種機器感知，標記或聚集原始輸入來解釋感官資料。常用的神經網路型別包括卷積神經網路和遞迴神經網路。
下圖描述了有關神經網路架構的詞彙：
在隱藏單元的末尾使用啟用函式將非線性複雜性引入模型。這是最常見的：
在神經網路的上下文中，交叉熵損失l（z，y）是常用的，定義如下：
學習率（通常記為α或有時為η）表示權重以什麼速度更新。這可以是固定的或自適應地更改的。當前最流行的方法稱為adam，這是一種適應學習率的方法。
反向傳播是一種通過考慮實際輸出和所需輸出來更新神經網路中權重的方法。關於權重w的導數是使用鏈規則計算的，其形式如下：
結果，權重更新如下：
在神經網路中，權重更新如下：
dropout是一種旨在通過丟棄神經網路中的單元來防止訓練資料過度擬合的技術。在實踐中，神經元要麼以概率p掉落，要麼以概率1-p保持。
＃1：神經網路簡介
＃2：神經網路模型，應用程式，優化器和示例**
翻譯自kaggle
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...
神經網路簡介
簡單介紹一下什麼是神經網路，以及其原理 這個感知器有3個input和乙個output，分別是x1 x2,x3，有乙個output。乙個感知器可以擁有多個input，如x1 x2,input和output的值都有乙個特點，就是只能是1或者0，也就是說x1 x2,只能取0或者1，而output也只能取0...
神經網路簡介
新手上路很多概念不清楚，本文作為記錄和筆記，簡單摘抄，列出關鍵概念，以便查閱，詳細內容移步原文 參考 如何自己從零實現乙個神經網路?量子位的回答 知乎 神經元 神經網路基本單元，獲得輸入，計算，產生輸出 權重 wx 偏置 b 啟用函式 使用的sigmoid，作用對無限制的輸入轉換為可 形式輸出，從而...