今天早上吃完飯，在去往實驗室的路上，腦袋了突然冒出乙個奇怪的想法，就是萬一將來人家公司的hr問我「既然你是做deeplearning研究的，那你對深度學習有什麼個人體會？」，我該怎麼說呢？
因此為了應對這一丟丟的可能性，我就在食堂去往實驗室的路上，用這二十分鐘的時間稍稍把自己腦子中的想法總結總結，現在到了實驗室了，寫篇部落格和大家交流交流，這篇部落格純屬我個人一時的頭腦風暴，沒有圖沒有**，稍顯枯燥，麻煩大家多給點耐心吧。
搞了一年多的深度學習理論，回過頭來想想，有三點值得一提：深度學習的特徵提取能力為什麼會強？深度學習應該用什麼裝置？深度學習和人工智慧有何緊密聯絡？
一、深度學習的特徵提取能力為何如此之強？
這個問題困擾著很多深度學習的領域的大牛，很多人都希望能夠解決這個問題，對應的就是試圖從理論層面解讀深度學習結構的優勢所在以及產生這種優勢的原因。畢竟imagenet都快被玩爛了，cnn的引數也幾乎被調遍了，但本質問題依然沒有解決，人類的求知本能迫使我們去想：「deeplearning為什麼這樣厲害」？
我覺得有一篇文章堪稱deeplearning理論探索的代表之作，那就是湯曉鷗教授團隊的「deepid三部曲」中的第三篇文章，文章中對卷積神經網路中各個卷積核的形式、卷積層輸出特徵的特點都做了很詳細的研究分析，可以算是卷積神經網路理論分析的開端。不過由於我目前沒有硬體條件去執行乙個一二十層的cnn，但這並不能阻止我去思考問題的本質，因此我準備從我的研究生課題「子空間方法深度化改造」的角度來對這個問題進行一點點解讀。
子空間深度化是2023年才提出的乙個概念，目的就是將經典的子空間特徵提取方法和識別方法（如eigenface和fishe***ce）進行堆疊，重點對比分析深度化改造前後的模型在特徵提取能力方面的改進，這個研究方向的鼻祖當屬魯繼文和馬毅兩位深度學習領域的大牛，他們提出的pcanet演算法一鳴驚人，提醒了我們深度學習原來還可以這樣研究，他們在《pcanet: a ****** deep learning baseline for image classification?》一文中說的明白「我們提出乙個簡單的深度學習框架，為後續的深度學習研究提供乙個基準」，我也是在這篇文章的啟發下開始做這個方向。
我個人認為子空間深度化改進研究得出的研究成果（pcanet、ldanet、randnet）雖然在識別率方面與卷積神經網路相比沒有明顯的優勢，但其更容易去回答「深度學習的特徵提取能力為何如此之強？」這個問題。因為單層的pca、fisher特徵識提取識別模型大家都再熟悉不過，深度化改造之後，加深了結構（兩層或者多層），但基本的對映核、對映方式都沒變，從單一變數法的角度分析，改造之後模型特徵提取能力的提公升只能歸功於改造之後的深度結構。至於模型的特徵提取能力到底提公升了多少，大家可以查閱那篇文獻，我這裡給出乙個通俗的比喻，改造前，這個單層模型只是eigenface和fishe***ce，改造之後它們就搖身一變，成了能夠在某些領域甚至可以與cnn媲美的deeplearning。因此我認為，deeplearning之所以強，很大程度上就是得益於它的深度結構，這也正好印證了hinton的觀點：多隱層神經網路具有更為優異的特徵學習能力。
二、深度學習應該用什麼裝置？
做深度學習就得想辦法加速，這個沒得商量（當然pcanet這樣的模型除外），加速的手段有兩個，一是專用神經網路晶元，而是英偉達的n卡。
首先，神經網路加速的手段有兩個，一是專用神經網路晶元，二是英偉達的n卡。說實話這兩個手段都是雙刃劍，各有利弊。神經網路晶元的加速比非常高，實驗證明其加速比是同品級英偉達n卡的2.5倍甚至更高，對應的缺點就是神經網路晶元對演算法的要求比較苛刻，具體說就是一種型號的神經網路晶元只能加速幾種甚至一種神經網路演算法，這也是晶元的硬體結構限制。相應的英偉達的gpu雖然在加速效能上比神經網路晶元差一點，但是其泛化效能巨強，一塊gpu幾乎可以加速所有的神經網路演算法，畢竟有cuda程式設計，gpu本身並不直接接觸deeplearning，因此無論何種神經網路演算法，在gpu看來都是一樣的，加速矩陣運算就可以了。綜上，我個人認為，在演算法研究開發、調參的過程中可以用gpu加速，在產品實用階段就考慮用神經網路晶元了。舉個栗子，2023年谷歌的vgg模型，主題是「把cnn搞得更深」，8層到16層層層測試，在這個測試過程中顯然要用gpu來幹，等測試完成了，知道多少層最優，什麼引數設定最合理，再放到專用神經網路晶元上生產就可以了。
三、深度學習與人工智慧的關係？
之所以提這一點，主要是受最近阿爾法狗人機大戰的影響。在我寫這篇部落格的時候阿爾法狗已經以4:1的比分贏得勝利。當年ibm的深藍，靠著大規模集群的超級計算能力，用暴力搜尋的方式在西洋棋上戰勝了人類，如今阿爾法狗靠著深度學習在圍棋上戰勝了人類。不得不說，21世紀deeplearning成為了人工智慧的核心，說到這裡就可以扯一點點類腦計算的知識。深度學習火了，就有人開始想用它來造機械人，來模擬人腦。其中在類腦計算過程中給我印象最深的就是神經擬態計算機。所謂神經擬態，就是最原始、最大化的模擬人腦的神經元，但是生物系統是模擬的，沒錯，人腦也是模擬系統，所以神經擬態計算機也拋棄了數字形式，改用模擬計算機。你人腦中的神經元怎麼連我這裡的模擬神經元就怎麼連，你人腦有多少神經元我這裡就造多少神經元，因此有大牛推測：假如規模是唯一瓶頸的話，機械人將會把人類當寵物。原因很明確：人類經過幾萬年的進化才達到現在的腦容量，而計算機中晶元的規模只需幾年就可以翻番。而且這裡我也發現了乙個有趣的現象：只要什麼技術火了，總會有人第一時間把它往人工智慧方面用，當年的超級計算機、現在的極深層deeplearning，看來只要是人工智慧不統治世界，人類就永遠不會放棄研究。
四、注意事項
1、博文中的理論依據
上文中所設計的觀點、資料大多都是來自**和其他刊物，大家需要的話直接聯絡我，我會盡快提供相關文獻依據。
3、原始參考部落格
在這裡給出一些之前寫的博文，支撐上文中提到的觀點，大家有時間可以看看：
（1）類腦計算與神經網路加速
（2）漫談deep pca與pcanet
（3）《pcanet: a ****** deep learning baseline for image classification》中文翻譯總結
（4）pcanet中pca演算法為什麼沒有起到降維的作用？
（5）cnn卷積神經網路新想法
ok，現在九點十八分，用時乙個半小時完成了這篇博文。
有關深度學習領域的幾點想法
1深度學習的特徵提取能力為何如此之強？這個問題困擾著很多深度學習的領域的大牛，很多人都希望能夠解決這個問題，對應的就是試圖從理論層面解讀深度學習結構的優勢所在以及產生這種優勢的原因。畢竟imagenet都快被完爛了，cnn的引數也幾乎被調遍了，但本質問題依然沒有解決，人類的求知本能迫使我們去想 de...
深度學習的幾點總結
1.卷積和池化關係 一般先卷積後池化 卷積的時候盡量不壓縮影象的長寬，盡量保留更多的資訊，卷積會無意的丟失一些資訊，因此池化可以解決這個問題，在池化進行壓縮。2.評價 連續資料的精度 r2 score 不均衡資料的精度 f1 score 過擬合 l1 l2 regularization,dropou...
有關衣服的想法
人的穿衣由來已久，但對衣服的研究卻不多。提到衣服的研究，更多的人會想到服裝設計。其實，服裝設計更接近於藝術，而不是科學。它只研究了衣服的乙個方面 美觀。衣服從功能來看，可以分為三個部分 貼身層 中間層 外觀層。三層的需求是不一樣的。貼身層強調的是舒適，中間層強調的是保暖，外觀層強調的是美觀。從具體來...