去參加鵝場的筆試，問到對深度學習的理解時，用了半個小時寫下了這寫答案，分析了深度學習的起源，發展，以及優缺點，為什麼會有些有問題的存在，有些地方還不完善，還需要補充。
神經網路在發展過程中，經歷了3次起伏，這很重要的原因在於神經網路的優缺點在不同時代得以體現。在理論上講，只包含單層隱藏層神經網路，可以擬合任何函式，然後這在實際情況中是不常用的。往往採用含多層隱藏層的神經網路來對資料進行擬合。
一、缺點及有效的措施
1、在早期，由於bp演算法還沒有發明，並且當時的計算能力有限，建立的神經網路規模很小，因此神經網路的效能也受很大限制。在90年代，發明了bp演算法後，便可以採用誤差反向傳播，通過誤差來指導神經網路的訓練，採用梯度下降優化演算法，每次減小**值和目標值的差別來達到模型的學習。但是，當神經網路規模逐漸增大，包含的隱藏層逐漸增多，此時採用bp演算法的過程中，會出現梯度消失的過程，者往往是因為誤差消失而導致的，因此神經網路前面的權值幾乎不會更新，因此導致了神經網路擬合資料的準確率受限制。研究者為了保留神經網路的誤差，提出了不同的策略來保留誤差，使得誤差可以傳遞而不會出現消失的現象。
2、神經網路模型可變的部分主要有神經網路的構成，架構（即選擇構建多少層神經網路，每層多少個隱含結點，每個隱含結點的啟用函式如何選擇，層與層之間的連線如何等），一般情況下，在構建好神經網路後，神經網路的訓練就變成了層與層之間權重的學習，為了更好的畢竟目標值，設計了許多權重學習演算法，包括梯度下降演算法，共軛梯度法，擬牛頓法l-bmgs，信賴域方法等。隨著神經網路規模的不斷擴充，要學習的引數也越來越多，神經網路的自由度越來越大，這給訓練神經網路模型帶來了很大的困難。複雜神經網路的訓練，極易陷入到區域性極小值而無法跳出，因此研究者設計了很多訓練方法來盡量避免神經網路陷入區域性極小值。
3、如2所說，隨著神經網路結構的複雜，神經網路擬合模型的能力也越來越強大，但這往往會出現過擬合的情況，這在機器學習中使非常致命的問題，即在訓練資料上表現的很好，但是泛化能力卻很差，在未見到的資料上，表現的很差。因此，研究者為了盡可能避免神經網路過擬合的情況發生，提出了許多方法。（1）其中非常常規的方法便是增加資料，因此引數的增多，引數空間呈指數變大，要想使得資料完全覆蓋住樣本空間，需要的資料量成指數增加，因此通過增加資料量想很好的避免過擬合現象是不太可能的。（2）另一種方法，便是在訓練的過程中，讓訓練及時停止，但是這一般需要設定checkpoint來實時監視神經網路的泛化效能，一般採用交叉驗證的方法來決定神經網路是否停止訓練。（3）另一種方法是加regularization項，即對要學習的引數加約束，盡可能的縮小引數空間的取值，這在機器學習中也是十分常見的方法，一般有lasso正則項，ridge正則項，或者elastic項（通過加權來綜合前兩個正則項）。
（4）對於深度神經網路，由於其特有的結構特性，還可以採用drop out方式來對神經網路進行簡化，即在每次迭代訓練時，某些結點概率的遮蔽掉，這樣很大程度上避免了神經網咯結點間的協同作用，使得神經網路更加的多樣性，相當於ensemble多個差異很大的神經網路，來最終得到泛化能力的提公升。
二、優點
1、神經網路很強大的地方在於完美的擬合能力，可以逼近任何複雜的函式，而且神經網路的維度可以達到無窮維，這樣其對資料的擬合能力是相當強大的。往往已有的傳統的機器學習方法，在某一定程度上屬於神經網路的特例。例如svm，logistic regression等均可以由神經網路來完成。
2、神經網路由於包含了許多隱藏層，而隱藏層又具有許多隱藏結點，這樣便使得神經網路的表達能力十分強大，這在貝葉斯理論中有很好的體現。即對於受限玻爾茲曼機，通過神經網路的形式，逐層訓練受限玻爾茲曼機，或者貝葉斯網路，便可以構建深度玻爾茲曼機，深度貝葉斯網路，使該網路的表徵能力進一步的提公升。在此基礎上，出現了自編碼，使得神經網路可以無監督的學習資料的特徵，尤其是等抽象的特徵，對於後續的分類，檢測，分割等提供了很好的特徵支援，不需要人為了設定特徵，但在某一定程度上，傳統的特徵提取方法仍然可以為神經網路特徵的學習提供參考方案。
3、進一步，現在提出的卷積神經網路，遞迴神經網路等，進一步改善了神經網路的效能，使其在特定領域得以更好的應對具體問題，體現出了其強大的能力。卷積神經網路，在某一定程度上，認為影象區域性間具有很強的關聯，而較遠的區域關聯度不大，因此做了馬爾科夫假設，使得訓練神經網路更加的容易。
4、神經網路同樣可以和概率模型相結合，使得神經網路具有推斷能力，加入了隨機因素，使得神經網路的推理能力得以提公升。
綜上所述，神經網路有很強大的表徵能力，但強大的同時，也存在許多問題，這需要各方面的科學家，學者在這方面共同努力，借鑑生物神經網路等作為參考，進一步提公升神經網路的效能。
深度分析SEO鏈輪策略優缺點及前景
seo鏈輪 seo link wheels 是從國外引入國內的，一種比較新穎的seo策略。通俗點說 seo鏈xqdsvgixd輪是指通過在網際網路上建立大量的獨立站點或是在各大門戶 上開設部落格，這些獨立站點或是部落格群通過單向的 有策略 有計畫緊密的鏈結，並都指向要優化的目標 以達到提公升目標 在...
深度學習發展簡史
美國康奈爾大學計算機教授羅森布拉特提出了感知器 perceptron 的概念。辛頓和美國心理學家魯梅哈特在兩層神經網路中提出了反向傳播演算法，大大減少了計算量。推動了神經網路在學術界的復甦。辛頓在 科學 雜誌上發表了一篇文章，提出了深度網路的概念。辛頓還改革了傳統的訓練方式，增加了預訓練 pre t...
深度學習發展歷程
一 神經元 1943年，心理學家mcculloch和數學家pitts參考了生物神經元的結構，發表了抽象的神經元模型mp。1 結構 神經元模型是乙個包含輸入，輸出與計算功能的模型。輸入可以模擬為神經元 的樹突，而輸出可以模擬為神經元的軸突，計算則可以模擬為細胞核。下圖是乙個典型的神經元模型 包含有3個...