#一、思路
神經網路存在 合適的權重w和偏置b,以便擬合訓練資料的過程 叫 學習。
##1.訓練資料
從訓練資料中提取部分資料（叫做mini-batch） 目的是->減小損失函式的值。
###mini-batch
mini-batch gradient decent，是小批的梯度下降資料，這種方法把資料分為若干個批，按批來更新引數，這樣，乙個批中的一組資料共同決定了本次梯度的方向，下降起來比較穩定，減少了隨機性。另一方面因為批的樣本數與整個資料集相比小了很多，計算量小，效率相對較高。
##2.計算梯度（高數知識）
為了減小mini-batch損失函式的值，求出各個權重引數的梯度（偏導）。
##3.更新引數
將權重引數沿著梯度方向進行微小更新。
##4.重複前三步
#二、明細
##1.損失函式的意義
損失函式可以很好得反映模型與實際資料差距的工具，理解損失函式能夠更好得對後續優化工具（梯度下降等）進行分析與理解。損失函式的調整是關鍵。
##2.分類器
###分類器構造和實施的步驟
1.選定樣本（包含正樣本和負樣本），將所有樣本分成訓練樣本和測試樣本兩部分。
2.在訓練樣本上執行分類器演算法，生成分類模型。
3.在測試樣本上執行分類模型，生成**結果。
4.根據**結果，計算必要的評估指標，評估分類模型的效能。
###常見分類器型別
1.決策樹分類器
提供乙個屬性集合，決策樹通過在屬性集的基礎上作出一系列的決策，將資料分類。這個過程類似於通過乙個人的特徵來判斷是哪個人。生成的分類器可用於對資料的分類。
2. 選擇樹分類器
選擇樹分類器使用與決策樹分類器相似的技術對資料進行分類。與決策樹不同的是，選擇樹中包含特殊的選擇節點，選擇節點有多個分支。
在決策樹中，乙個節點一次最多可以選取乙個屬性作為考慮物件。在選擇樹中進行分類時，可以綜合考慮多種情況。選擇樹通常比決策樹更準確，但是也大得多。選擇樹生成器使用與決策樹生成器生成決策樹同樣的演算法從訓練集中生成選擇樹。mineset 的視覺化工具使用選擇樹圖來顯示選擇樹。樹圖可以幫助使用者理解分類器，發現哪個屬性在決定標籤屬性值時更重要。同樣可以用於對資料進行分類。
3. 證據分類器
證據分類器通過檢查在給定乙個屬性的基礎上某個特定的結果發生的可能性（與條件概率類似）來對資料進行分類。比如，它可能作出判斷，乙個擁有一輛價值在1.5 萬到2.3 萬美元之間的轎車的人有70 %的可能是信用良好的，而有30 %的可能是信用很差。分類器在乙個簡單的概率模型的基礎上，使用最大的概率值來對資料進行分類**。與決策樹分類器類似，生成器從訓練集中生成證據分類器。mineset 的視覺化工具使用證據圖來顯示分類器，證據圖由一系列描述不同的概率值的餅圖組成。證據圖可以幫助使用者理解分類演算法，提供對資料的深入洞察，幫助使用者回答像「如果… 怎麼樣" 一類的問題。同樣可以用於對資料進行分類。
##3.學習率
學習率 (learning rate)，控制 模型的 學習進度。
學習率作為監督學習（利用一組已知類別的樣本調整分類器的引數，使其達到所要求效能的過程）以及深度學習中重要的超參，其決定著目標函式能否收斂到區域性最小值以及何時收斂到最小值。
合適的學習率能夠使目標函式在合適的時間內收斂到區域性最小值。
##4.高斯分布（正態分佈）
神經網路筆記
感知機模型如下圖所示 輸入層接受多個二值輸入,輸出層提供乙個二值輸出 m p神經元 用數學公式來描述就是 y 0,1 jw jxj b 0 jwjx j b 0 這裡,y 是指輸出,xi 指輸入,wi 是輸入的權重,j 是輸入管腳個數,b是指偏移.多個感知機可以構成神經網路,如下圖 m p神經元的輸...
神經網路學習筆記（一）感知器神經網路
感知器 perceptron 是由美國科學家f.rosenblatt於1957年提出的，是一種模仿生物感知機制，用於模式識別的簡單神經網路。感知器模型如圖1.圖1.單個感知器模型 感知器的傳遞函式為 單個感知器的運算關係為 a hardlim wp b 若令權重向量為 則樣本x對應的實際輸出為 其中...
神經網路學習筆記（一）感知器神經網路
用於簡單的模式分類問題。將r個輸入變數pi賦予不同權值後相加，並加入偏差。閾值函式hardlim。輸入輸入樣本pi，期望目標ti，將期望目標與訓練時產生的輸出目標進行比較。獲得網路誤差，然後應用學習規則對網路權值和偏差進行調整，是訓練後輸出接近於正確目標。p為輸入，t為期望輸出，訓練時實際輸出為a，...