1深度學習的特徵提取能力為何如此之強？這個問題困擾著很多深度學習的領域的大牛，很多人都希望能夠解決這個問題，對應的就是試圖從理論層面解讀深度學習結構的優勢所在以及產生這種優勢的原因。畢竟imagenet都快被完爛了，cnn的引數也幾乎被調遍了，但本質問題依然沒有解決，人類的求知本能迫使我們去想：「deeplearning為什麼 這樣厲害」？我覺得有一篇文章堪稱deeplearning理論探索的代表之作，那就是湯曉鷗教授團隊的「deepid三部曲」中的第三篇文章，文章中對卷積神經網 絡中各個卷積核的形式、卷積層輸出特徵的特點都做了很詳細的研究分析，可以算是卷積神經網路理論分析的開端。不過由於我目前沒有硬體條件去執行乙個一二十 層的cnn，但這並不能阻止我去思考問題的本質，因此我準備從我的研究生課題「子空間方法深度化改造」的角度來對這個問題進行一點點解讀。
子空間深度化是2023年才提出的乙個概念，目的就是將經典的子空間特徵提取方法和識別方法（如eigenface和fishe***ce）進行堆疊， 重點對比分析深度化改造前後的模型在特徵提取能力方面的改進，這個研究方向的鼻祖當屬魯繼文和馬毅兩位深度學習領域的大牛，他們提出的pcanet演算法一 鳴驚人，提醒了我們深度學習原來還可以這樣研究，他們在《pcanet: a ****** deep learning baseline for image classification?》一文中說的明白「我們提出乙個簡單的深度學習框架，為後續的深度學習研究提供乙個基準」，我也是在這篇文章的啟發下開始做這個方向。
我個人認為子空間深度化改進研究得出的研究成果（pcanet、ldanet、randnet）雖然在識別率方面與卷積神經網路相比沒有明顯的優勢，但其更容易去回答「深度學習的特徵提取能力為何如此之強？」這個問題。因為單層的pca、fisher特徵識提取識別模型大家都再熟悉不過，深度化改造之 後，加深了結構（兩層或者多層），但基本的對映核、對映方式都沒變，從單一變數法的角度分析，改造之後模型特徵提取能力的提公升只能歸功於改造之後的深度結 構。至於模型的特徵提取能力到底提公升了多少，大家可以查閱那篇文獻，我這裡給出乙個通俗的比喻，改造前，這個單層模型只是eigenface和 fishe***ce，改造之後它們就搖身一變，成了能夠在某些領域甚至可以與cnn媲美的deeplearning。因此我認 為，deeplearning之所以強，很大程度上就是得益於它的深度結構，這也正好印證了hinton的觀點：多隱層神經網路具有更為優異的特徵學習能力。
2深度學習應該用什麼裝置？
3深度學習與人工智慧的關係？
之所以提這一點，主要是受最近阿爾法狗人機大戰的影響。在我寫這篇部落格的時候阿爾法狗已經以4:1的比分贏得勝利。當年ibm的深藍，靠著大規模集群的超級計算能力，用暴力搜尋的方式在西洋棋上戰勝了人類，如今阿爾法狗靠著深度學習在圍棋上戰勝了人類。不得不說，21世紀deeplearning成為了人工智慧的核心，說到這裡就可以扯一點點類腦計算的知識。深度學習火了，就有人開始想用它來造機械人，來模擬人腦。其中在類腦計算過程中給我印象最深的就是神經擬態計算機。所謂神經擬態，就是最原始、最大化的模擬人腦的神經元，但是生物系統是模擬的，沒錯，人腦也是模擬系統，所以神經擬態計算機也拋棄了數字形式，改用模擬計算機。你人腦中的神經元怎麼連我這裡的模擬神經元就怎麼連，你人腦有多少神經元我這裡就造多少神經元，因此有大牛推測：假如規模是唯一瓶頸的話，機械人將會把人類當寵物。原因很明確：人類經過幾萬年的進化才達到現在的腦容量，而計算機中晶元的規模只需幾年就可以翻番。而且這裡我也發現了乙個有趣的現象：只要什麼技術火了，總會有人第一時間把它往人工智慧方面用，當年的超級計算機、現在的極深層deeplearning，看來只要是人工智慧不統治世界，人類就永遠不會放棄研究。
原**：
有關深度學習領域的幾點想法
今天早上吃完飯，在去往實驗室的路上，腦袋了突然冒出乙個奇怪的想法，就是萬一將來人家公司的hr問我 既然你是做deeplearning研究的，那你對深度學習有什麼個人體會？我該怎麼說呢？因此為了應對這一丟丟的可能性，我就在食堂去往實驗室的路上，用這二十分鐘的時間稍稍把自己腦子中的想法總結總結，現在到了...
深度學習的幾點總結
1.卷積和池化關係 一般先卷積後池化 卷積的時候盡量不壓縮影象的長寬，盡量保留更多的資訊，卷積會無意的丟失一些資訊，因此池化可以解決這個問題，在池化進行壓縮。2.評價 連續資料的精度 r2 score 不均衡資料的精度 f1 score 過擬合 l1 l2 regularization,dropou...
有關衣服的想法
人的穿衣由來已久，但對衣服的研究卻不多。提到衣服的研究，更多的人會想到服裝設計。其實，服裝設計更接近於藝術，而不是科學。它只研究了衣服的乙個方面 美觀。衣服從功能來看，可以分為三個部分 貼身層 中間層 外觀層。三層的需求是不一樣的。貼身層強調的是舒適，中間層強調的是保暖，外觀層強調的是美觀。從具體來...