深度極限學習機(delm)目前主要含兩種基本結構：1、利用傳統深度學習框架(主要是堆疊自動編碼器，或者是深度置信網路)進行資料的深度自適應特徵提取，而後將獲得的特徵輸入至極限學習機及其變種中進行分類或回歸；2、利用極限學習機與自動編碼器相結合，形成極限學習機-自動編碼器(elm-ae)，結構如圖1，將elm-ae作為無監督學習的基礎單元對輸入資料進行貪婪逐層無監督預訓練，並儲存elm-ae由最小二乘法獲得的輸出權值矩陣，然後用這些輸出層權重來初始化多層極限學習機(ml-elm，也稱深度極限學習機，deep extreme leaning machine，delm)，最後結合標籤資訊對delm的輸出層權重進行學習，結果圖2所示。
關於第一種深度極限學習機，可改進的地方較少，大部分人就是將不同的深度學習方法與不同的極限學習機變種進行結合，方法較為簡單。我們今天就說說第二種深度極限學習機，後文所述的深度極限學習機預設是第二種。
和其他深度學習相比，深度極限學習機無需微調，elm-ae與最終的delm分類層(或回歸層)均採用最小二乘法且只進行一步反向計算得到更新後的權重，因此顯著特點是速度快。缺點也很明顯，第一，elm-ae的輸入層權值與偏置依舊是隨機生成，且不進行反向調整，因此delm的精度elm-ae輸入權值的影響；第二，採用多隱含層結構的delm，各層節點數對最終精度有著較大影響；第三，採用最小二乘法進行輸出權值一步更新，在樣本數較少時比較方便，當處理大樣本問題時（比如mnist），在計算moore偽逆的時候極大地增加了計算時間與複雜度，並且特別容易出現欠擬合。
今天，我們針對問題2進行解決，利用粒子群對各elm-ae的輸出層權值與偏置進行優化，簡稱pso-delm，並用這個演算法進行軸承故障診斷。
1.資料準備
採用凱斯西儲軸承故障診斷資料，驅動端，48k取樣頻率，0hp負載，共10類資料，如下所示。從每類資料中各取100個樣本，每個樣本長度為864個取樣點，共得到1000個樣本，然後按照7:3劃分訓練集與測試集。
2.資料預處理
對上述採集的樣本進行fft特徵提取，提取每個樣本的頻譜幅值作為最終的特徵資料，如下圖所示。然後歸一化，作為delm與pso-delm的輸入資料，標籤採用onehot編碼，即第一類為[1 0 0 0 0 0 0 0 0 0]，第二類為[0 1 0 0 0 0 0 0 0 0]。
3.delm故障診斷分類
首先利用elm-ae對2中資料集進行逐層無監督預訓練，儲存各elm-ae的輸出層權重，然後用上述權重初始化delm，有點類似於堆疊自動編碼器。最後結合標籤資料進行delm分類層的訓練，elm-ae與delm均採用最小二乘法進行。測試集結果如下：
診斷精度為96.67%
4.pso-delm故障診斷分類
以最小化分類錯誤率作為適應度函式，pso演算法的目的是找到一組elm-ae的初始權重使得delm的錯誤率最低，因此適應度進化曲線是一條下降的曲線，表示隨著pso優化的，找到更好的初始權重，使得delm的分類錯誤率越來越低。結果如下
診斷精度為98%。
5.結論
針對delm中各elm-ae採用隨機初始權值與偏置的問題，採用粒子群演算法對其這些elm-ae的初始權重進行優化，結果表明，優化的delm具有更好的診斷精度
**：點這裡
基於耗散結構的粒子群優化演算法
粒子群優化演算法可以看作是乙個模擬的自組織系統，在初期，通常群體為混沌無序的混亂狀態，遠離平衡態。認知 部分代表著對個體本身的歷史成功經驗的依賴，而 社會 部分則意味著對群體歷史成功經驗的模仿，它們對資訊的非線性反饋使用群體經驗逐漸變為有序狀態結構。然而，由於缺乏負熵的輸入，在pso演化的事項，個體...
基於層次學習的粒子群演算法 LLSO
近期閱讀了關於大尺度優化問題 a level based learning swarm optimizer for large scale optimization 是對pso做出的改進，演算法容易實現，這裡做出簡單總結。一 動態層數選擇 將種群按適應度值進行排序，排序後將粒子分層，層數的大小從層數...
極限學習機的使用方法
在傳統的神經網路訓練中，我們通常的做法是要通過梯度下降演算法來不斷的調整隱層與輸出層，輸出層與隱層之間的權值矩陣，以及偏置b。但是elm演算法指出，其實隱層的權值矩陣w和偏置b其實是沒有必要調整的，在學習演算法開始時，任意隨機給定w和b的值，利用其計算出h 隱層節點的輸出 並令其保持不變，需要確定的...