**自｜csdn star先生
作者專欄｜
1）神經元（neuron）：就像形成我們大腦基本元素的神經元一樣，神經元形成神經網路的基本結構。想象一下，當我們得到新資訊時我們該怎麼做。當我們獲取資訊時，我們一般會處理它，然後生成乙個輸出。類似地，在神經網路裡，神經元接收輸入，處理它並產生輸出，而這個輸出被傳送到其他神經元用於進一步處理，或者作為最終輸出進行輸出。
2）權重（weights）：當輸入進入神經元時，它會乘以乙個權重。例如，如果乙個神經元有兩個輸入，則每個輸入將具有分配給它的乙個關聯權重。我們隨機初始化權重，並在模型訓練過程中更新這些權重。訓練後的神經網路對其輸入賦予較高的權重，這是它認為與不那麼重要的輸入相比更為重要的輸入;權重為0則表示該輸入的特徵是微不足道的。
讓我們假設輸入為a，並且與其相關聯的權重為w1，那麼在通過節點之後，輸入變為a*w1
3）偏差（bias）：除了權重之外，另乙個被應用於輸入的線性分量被稱為偏差。它被加到權重與輸入相乘的結果中。基本上新增偏差的目的是來改變權重與輸入相乘所得結果的範圍的。新增偏差後，結果將看起來像a*w1+偏差。這是輸入變換的最終線性分量。
4）啟用函式（activation function）：一旦將線性分量應用於輸入，將會需要應用乙個非線性函式。這通過將啟用函式應用於線性組合來完成。啟用函式將輸入訊號轉換為輸出訊號，應用啟用函式後的輸出看起來像f(a*w1 + b)，其中f()就是啟用函式。
a）sigmoid：最常用的啟用函式之一
b）relu（整流線性單位）：與sigmoid函式不同的是，最近的網路更喜歡使用relu啟用函式來處理隱藏層。
c） softmax：啟用函式通常用於輸出層，用於分類問題。
5）神經網路（neural network）：神經網路構成了深度學習的支柱。
「神經網路由許多相互關聯的概念化的人造神經元組成，它們之間傳遞相互資料，並且具有根據網路」經驗「調整的相關權重。神經元具有啟用閾值，如果通過其相關權重的組合和傳遞給他們的資料滿足這個閾值的話，其將被解雇；發射神經元的組合導致「學習」。6）輸入/輸出/隱藏層（input / output / hidden layer）：
7）mlp（多層感知器）：由於單個神經元無法執行高度複雜的任務，因此，我們使用堆疊的神經元來生成我們所需要的輸出。
8）正向傳播（forward propagation）：正向傳播是指輸入層→隱藏層→輸出層運動。在正向傳播中，資訊沿著乙個單一方向前進，輸入層將輸入提供給隱藏層，然後生成輸出；這過程中是沒有反向運動的。
9）反向傳播（backpropagation）：當我們定義神經網路時，我們為我們的節點分配隨機權重和偏差值。一旦我們收到單次迭代的輸出，我們就可以計算出網路的錯誤；然後將該錯誤與成本函式的梯度一起反饋給網路以更新網路的權重；最後更新這些權重，以便減少後續迭代中的錯誤
10）成本函式（cost function）：
當我們建立乙個網路時，網路試圖將輸出**得盡可能靠近實際值。我們使用成本函式來衡量網路的準確性，其會在發生錯誤時嘗試懲罰網路。
11）梯度下降（gradient descent）：梯度下降是一種最小化成本的優化演算法。其背後的思想是：開始時我們隨機選擇乙個引數的組合（θ0,θ1,...,θn），計算代價函式，然後我們尋找下乙個能讓代價函式值下降最多的引數組合。我們持續這麼做直到到到 乙個區域性最小值（local minimum），因為我們並沒有嘗試完所有的引數組合，所以不能確定 我們得到的區域性最小值是否便是全域性最小值（global minimum），選擇不同的初始引數組合，可能會找到不同的區域性最小值。
12）學習率（learning rate）：它決定了我們沿著能讓代價函式下降程度最大的方向 向下邁出的步子有多大；在批量梯度下降（batch gradient descent）中，我們每一次都同時讓所有的引數減去學習速 率乘以代價函式的導數。
我們應該非常仔細地選擇學習率，因為它不應該是非常大的，以至於最佳解決方案被錯過，也不應該非常低，以至於網路需要融合。
機器學習入門基礎概念（1）
時隔兩年半，再次上我這個csdn賬號。最近正好複習機器學習考試，就把一些基本的機器學習概念在部落格記錄一下，就當複習了。一些概念 什麼是機器學習 1.什麼是機器學習？機器學習就是計算機基於資料建立概率統計模型，並運用模型對資料進行 與分析的一門學科。2.期望風險 經驗風險與結構風險 期望風險可以看為...
深度學習入門（1）
1.感知機是神經網路的起源。2.偏置決定了神經元被啟用的容易程度。具體表現我為 y wx b b為偏置項 w為權重 3.常用啟用函式及實現 1 階越函式 y x 0?1 0實現 def step function x return np.array x 0,dtype np.int 2 sigmoi...
深度學習系列（1） 簡要概念
deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。1 深度學習的概念由hinton等人於2006年提出。基於深信度網 dbn 提出非監督貪心逐層訓練演算法，為解...