今天學習了兩個神經網路，分別是自適應諧振（art）神經網路與自組織對映（som）神經網路。整體感覺不是很難，只不過一些最基礎的概念容易理解不清。
首先art神經網路是競爭學習的乙個代表，競爭型學習是一種常用的無監督學習策略，在使用改策略時，網路的輸出神經元相互競爭，每一時刻只有乙個競爭獲勝的神經元啟用。
art神經網路由比較層、識別層、識別閾值、重置模組構成。其中比較層負責接收輸入樣本，並將其傳遞給識別層神經元，識別層每乙個神經元對應實個模式類，神經元數目可在訓練過程中動態增長以增加心得模式類。在接收到輸入訊號後，識別層神經元之間開始進行競爭，競爭的最簡單方式是計算輸入向量與每個識別層神經元所對應的模式類的代表向量之間的距離，距離越小越好。最後距離最短的神經元競爭成功後，會向其他神經元傳送乙個訊號，來抑制其他神經元啟用。若輸入向量與獲勝神經元所對應的代表向量之間的相似度大於識別閾值，則當前書樣本將被歸為該代表向量所屬類別，同時網路連線權將會更新，使以後在接收到相似輸入樣本時該模式類會計算出更大的相似度，這一步可以理解為為以後的工作做鋪墊，通過這種做法可以提高準確度。若相似度不大於識別閾值，則重置模組將在識別層增設乙個新的神經元，其代表向量就設定為當前輸入向量。這一步我的個人理解為通過這種做法可以一步步完善整個網路，使得分類更加準確。
在西瓜書對應的這部分內容有下面一段話：顯然，識別閾值對art網路的效能有重要影響。當識別閾值較高時，輸入樣本將會被分成比較多、比較精細的模式類，而如果識別與之較低，則會產生比較少、比較粗略的模式類。------我在一開始看到這段話的時候感覺他說反了，我自己的理解跟他恰恰相反，在我的理解中閾值就好比乙個門檻，只有通過這個門檻才能進這個門，後來我對這段話的理解為，當閾值高了，就好比一張8k與16 k的紙，如果讓你在這兩張紙上畫畫，那肯定是紙越大畫的越多，同理，閾值越大，則容納的模式類也就越多----------以上純屬個人理解，如果有錯誤歡迎指正。
art比較好地緩解了競爭型學習中的「可塑性-穩定性窘境」，其中可塑性指神經網路要能夠學習新知識，穩定性指神經網路在學習新知識的同時要保持對之前學習的知識的記憶，而不是狗熊掰棒子
som神經網路是一種競爭學習型的無監督神經網路，它能將高維輸入資料對映到低維空間（通常為二維），同時保持輸入資料在高維空間的拓撲結構，即將高位空間中相似的樣本點對映到網路輸出層中的鄰近神經元。som神經網路中的輸出層神經元以矩陣方式排列在二維空間中，每個神經元都擁有乙個權向量，網路在接收輸入向量後，將會確定輸出層獲勝神經元，它決定了該輸入向量在地位空間中的位置。som神經網路訓練的目的就是為每個輸出層神經元找到合適的權向量，以達到保持拓撲結構的目的。
som的訓練過程其實很簡單，就是接收到乙個訓練樣本後，每個輸出層神經元都會計算該樣本與自身攜帶的權向量之間的距離，距離短者獲勝，然後獲勝的神經元及其鄰近神經元的權向量將會進行調整，以使得這些權向量與當前輸入樣本的距離縮小，與art很相似。圖5.11為som網路結構
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
SOM自組織神經網路
som自組織神經網路 自組織神經網路競爭學習規則 winner take all。how to find the winner？首先，對網路當前輸入模式向量x和競爭層中的個神經元對應的權重向量wj 對應j神經元 全部進行歸一化，使得x和wj的模為1 當前網路得到乙個輸入模式向量x時，競爭層的所有神經...