2022.01.18，今天是服務外包競賽：隨便拿個獎隊的專案進行的第十八天，今天根據專案要求繼續學習matlab數字影象處理
對於只有乙個隱層的autoencoder的權重視覺化，以及準確率，如5.1到5.3所示。總的實驗結果和引數詳見表1.
這是最原始的autoencoder，在訓練時沒有引入稀疏項和白雜訊。這個autonecoder只有乙個隱層。圖9所示是該隱層的權值。隱層節點一共有196個。訓練的具體引數可查後面的表1.
準確度：0.915
w視覺化：
圖9 autoencoder權值視覺化
結果分析：
從圖中可以依稀的看出數字0到9，這是由於這是autoencoder的第一層。autoencoder雖然是神經網路。但是可以看成是線性的模型，又由於這是第一層的權值（總共也就一層），所以對資料的抽象程度不高，所以從權值中基本上能夠看出0到9的數字。這一點在稀疏autoencoder中表現的更加明顯。
sparse autoencoder在autoencoder的基礎上引入了稀疏項，起到壓縮資訊的作用。具體說就是將輸入資料用盡量少的神經節點來表示。這樣就會盡量的保留有用的資訊而剔除無用的資訊。如果從空間的角度來理解就是將原始資料投射到由隱層節點個數個向量張成的乙個低維度空間裡面，同時要求投射到低維空間後資料盡量沿隱層節點的基向量，也就是權值向量分布。這樣帶來的好處就是能提高下一步分類的準確度。
準確度：0.9276
w視覺化：
圖10 sparse autoencoder權值視覺化
結果分析：
從圖中可以看出，相對於圖9（原始autoencoder），圖10 的數字資訊更加明顯，而且少了不少的「雜訊」。原因正如上面所說，引入稀疏項之後，原始資料每次啟用的神經元的數量較之前少了很多。因此，一些繁雜的資訊，比如圖9裡面的「雜訊」，就被去掉了，只留下了真正有用的資訊。因此，圖10顯得比較清晰。而且從實驗結果上可以看出以sparse autoencoder為基礎的分類器的分類精度確實比基本的autoencoder的分類精度高。
這裡的denoise autoencoder 跟 autoencoder的訓練程式引數設定基本相同，唯一不同的是denoise autoencoder在訓練的時候加入了雜訊。加入雜訊的目的是為了模擬可能出現的遮擋，模糊，等情況，從而使訓練出來的分類器更加健壯。
準確度：0.9194
w視覺化：
圖11 denoise autoencoder權值視覺化
結果分析
由於與autoencoder相比，只有訓練樣本不一樣，因為在訓練時加入雜訊。加雜訊的規則是：每乙個畫素點以0.3的概率變為0。所以，圖11和圖9大體上是一致的，由於訓練資料不一樣，所以體現到權值上就有一些差別。而且從訓練結果上看，加入雜訊後使得分類器精度有一定的提公升。
在表1中，n表示autoencoder 的層數，accrate表示以autoencoder為基礎的softmax分類器的準確度，λ1表示autoencoder的權重衰減項係數，β為autoencoder的稀疏項係數，ρ為autoencoder的稀疏性引數，λ2為softmax的權重衰減項係數。
denoise autoencoder的畫素值變為0的概率都是0.3，表1中的autoencoder的隱層節點數都是196個。
5.1~5.3用到的autoencoder的具體訓練引數如表1所示：
表1 autoencoder詳細訓練引數及準確率
naccrateλ1β
ρλ2autoencoder
10.915
0.000200
0.0003
denoise autoencoder
10.9194
0.000200
0.0003
sparse autoencoder
10.9276
0.0002
20.015
0.0003
在訓練一層的分類器的時候，通過控制變數法，改變autoencoder的訓練引數，訓練出不同的autoencoder。通過這種辦法可以得到不同引數大小對autoencoder的影響。在表2中，隱層節點都是300個，訓練autoencoder時，最大迭代次數也都是400次，其餘引數如下表所示：
表2 autoencoder引數對結果的影響
naccrateλ1β
ρλ2autoencoder
10.9154
0.0003
30.01
0.0003
autoencoder
10.8031
0.0003
30.001
0.0003
autoencoder
10.9285
0.0002
30.01
0.0003
autoencoder
10.9218
0.0003
20.01
0.0003
實驗結果分析：
稀疏性引數ρ和稀疏項係數β是用來控制隱層的節點的平均啟用程度的，ρ越低平均啟用程度越低，一般情況下ρ取0.05左右。在表2的第2行當ρ取到0.001的時候，可能由於值過小導致資訊丟失太多導致不能夠恢復出原訊號，因此使得準確率大大的降低；
降低λ1後使得準確率有所上公升。權重衰減項的目的是減小權值的幅度，這樣在一定程度上能夠防止出現過大的權重項，從而出現過擬合現象，因此適當的減小λ1可以使分類器的準確率提高，而在調節λ1的時候還要考慮權重的總的個數，也不能設的過小；
對比表1和表2，表2 的準確率相比表1來說要高一些，而表1和表2有乙個區別就是：隱層節點數表1的都是196個，表二的都是300個。這個對分類準確率也有很大的影響。
綜上，訓練autoencoder要考慮的引數有λ1，β，ρ還有隱層節點的數量。通過表1和表2得出的經驗就是：稀疏性引數ρ和稀疏項係數β要適當的小一些但是不能過於的小，ρ就在0.01左右，而β就在2左右，權重衰減係數不能太大就設定在0.0002左右。隱層節點數量從結果上看300個要比196個要好一些，由於輸入節點數量就是784個，所以，隱層節點數也不能設定的太小。
translate with
xenglish
arabic
hebrew
polish
bulgarian
hindi
portuguese
catalan
hmong daw
romanian
chinese simplified
hungarian
russian
chinese traditional
indonesian
slovak
czech
italian
slovenian
danish
japanese
spanish
dutch
klingon
swedish
english
korean
thai
estonian
latvian
turkish
finnish
lithuanian
ukrainian
french
malay
urdu
german
maltese
vietnamese
greek
norwegian
welsh
haitian creole
persian
translate with
copy the url below
back
embed the snippet below in your site
" readonly>
enable collaborative features and customize widget: bing webmaster portal
back
2021 2022學年第一學期寒假學習記錄11
2022.01.11，今天是服務外包競賽 隨便拿個獎隊的專案進行的第十一天，今天根據專案要求繼續學習matlab數字影象處理 1 實驗目的 學習常見的數學形態 算基本方法，了解腐蝕 膨脹 開運算 閉運算取得的效果，培養處理實際影象的能力，並為課堂教學提供配套的實踐機會。2 實驗要求 利用matlab...
2021 2022學年第一學期寒假學習記錄12
2022.01.12，今天是服務外包競賽 隨便拿個獎隊的專案進行的第十二天，今天根據專案要求繼續學習matlab數字影象處理 clf 為 清除figure視窗中的內容，並不關閉figure視窗 figure 為 開啟乙個新的figure視窗 close 為 關閉乙個figure視窗 close al...
2021 2022學年第一學期寒假學習記錄16
2022.01.16，今天是服務外包競賽 隨便拿個獎隊的專案進行的第十六天，今天根據專案要求繼續學習matlab數字影象處理 機器學習演算法中經常碰到非線性優化問題，如 sparse filtering 演算法，其主要工作在於求解乙個非線性極小化問題。在具體實現中，大多呼叫的是成熟的軟體包做支撐，其...