前面已經說了，將開始設計機械人視覺功能，目的要使用機械人視覺來辨別使用者，通過人臉識別進行導航跟蹤，當然首先要識別人臉， 和相關物體，便於機械人跟蹤過程的視覺應用。
通過一階段學習，對啟用函式，sigmoid,relu,softmax等都有了初步認識，下面再進一步通過後續學習了解深化這些認識。後面我將對
1、神經網路學習；
2、誤差反向傳播；
3、卷積神經網路
三方面進行學習。中間可能穿插手寫數字的例項。我會記錄難點的自我認識，和提出疑問，看有大牛解釋。
先學習「1神經網路學習」
1.1 損失函式
乙個體現網路效能的函式，越大，該識別網路效能越差，反之，越好。
—1.1.1 乙個好抽象的損失函式「交叉熵誤差」和簡單明瞭的 」均方差「
許多人看到這個熵就頭大，學生時沒接觸的更悶。啥鬼玩意，還來個交叉熵。我一般不好理解時，就會找英文的原版，個人認為許多英文手冊翻譯後，由於翻譯人本身的技術，英語和語文水準不夠，大多時候，原版英文能幫你解開迷霧。好，這個看似高大上萬人不懂的「交叉熵誤差」到底是個啥鬼玩意，？？查下看出「交叉熵誤差」英文為「 cross entropy error", 單詞「entropy" 本意似乎使得我們豁然開朗：
entropy --不匹配，混亂程度或消耗在無用功上的能量的指標
error —兩個物理量或計算量的誤差
cross — 這裡理解成乘法符號 」x「如何
【這個熵從英文原意上的理解 就應該越小越好：）】
公式 e=- [- tk * log yk (原諒此處符號怪異，真確公式大致看官自己查一下)。公式中兩個物理量分別為 監督資料輸出tk和神經網路資料輸出yk。 由於監督資料tk 採用one-hot 表示，即正確標籤為1，其餘為0。 則通過cross 的乘積，一旦差的神經網路輸出錯誤的位置，即將錯誤位置輸出為大概率值，則都被監督資料的0抵消。這樣真確網路輸出通過執行交叉熵誤差函式的值就很小，錯誤網路通過執行交叉熵誤差函式輸出就大。由於損失函式的輸出值與神經網路效能成反比。則毫無疑問，我們找到了好的神經網路。那麼問題來了， 我們知道，還有個損失函式 」均方差（mean squared error）「，我們為何不用？？？
神經網路設計 摘要
判定邊界 判定邊界由那些使淨輸入為0的輸入向量確定 n wp b 0,乙個雙輸入感知器網路,如果取權值為 1,1 則有p1 p2 b 0,其中p p1 p2 這是p1,p2平面上的一條直線.該直線和權值向量w 1,1 垂直.感知器學習規則 p42 1.如果t 1,a 0 則w new w old p...
神經網路設計原則
神經網路訓練完，會出現網路訓練不穩定 網路不收斂 梯度消失或 網路過擬合 不准或準確率低，可考慮以下方面 資料增強 隨機取樣 資料翻轉，隨機改變資料亮度 飽和度 對比度等 神經網路結構一般由輸入層 隱層 輸出層構成。輸入層的神經元個數是特徵維度，隱層是提取輸入特徵中隱藏的規律，輸出層的神經元個數是分...
神經網路設計過程
1.背景 輸出 y 中，1.01 代表 0 類鳶尾得分，2.01 代表 1 類鳶尾得分，0.66 代表 2 類鳶尾得分。通過輸出 y 可以看出數值最大 可能性最高 的是 1 類鳶尾，而不是標籤 0 類鳶尾。這是由於 最初的引數 w 和b 是隨機產生的，現在輸出的結 果是蒙的 為了修正這一結果，我們用...