神經網路結構搜尋(neural architecture search)主要由搜尋空間，搜尋策略與效能評估3部分組成。
在搜尋空間設計上，出於計算量的考慮，通常不會搜尋整個網路結構，而是先將網路分成幾塊，然後搜尋塊中的結構。根據實際情況的不同，可以共享不同塊中的結構，也可以對每個塊單獨搜尋不同的結構。
以對每個塊單獨搜尋不同的結構。在搜尋策略上，主流的優化方法包含強化學習、進化演算法、貝葉斯優化和基於梯度的優化等。
在效能評估上，為了節省計算時間，通常不會將每乙個網路都充分訓練到收斂，而是通過權值共享、早停等方法盡可能減小單個網路的訓練時間。
搜尋策略從搜尋空間 a 中選取某個 神經網路結構 a,然後用效能估計策略來估計該網 絡結構的泛化效能,最後將估計的泛化效能反饋給 搜尋策略,進一步改進搜尋策略。
效能的提公升主要是由於深度神經網路能夠提取很高 層次的特徵,從而得到對輸入資料更加有效的表示。gpu 算力的提公升使得神經網路的層數進 一步增加,表徵能力進一步增強。
神經網路結構搜尋類似 於機器學習中的超引數優化(hyperparameter optimization),超引數優化在機器學習領域是乙個很重要 的研究主題。
神經網路結構搜尋的目標是從定義的搜尋空間 內,面向某個未知資料集,找到具有最高的泛化效能 的網路結構。效能評估策略在神經網路結構搜尋中 則用來估計取樣到的神經網路結構的泛化效能。最 簡單直接的方式就是將每個神經網路在訓練資料上 都訓練到收斂,然後將驗證資料上的測試結果作為 估計的泛化效能,但是需要花費相當多的時間。
神經網路架構整理
新的神經網路架構隨時隨地都在出現，dcign，iilstm，dcgan 神經網路通常都有很多層，包括輸入層 隱藏層 輸出層。單獨一層不會有連線，一般相鄰的兩層是全部相連的 每一層的每個神經元都與另一層的每個神經元相連 1.前向傳播網路 ff 或 ffnn 它們從前往後傳輸資訊 分別是輸入和輸出 神經...
神經網路架構整理
新的神經網路架構隨時隨地都在出現，dcign，iilstm，dcgan 神經網路通常都有很多層，包括輸入層 隱藏層 輸出層。單獨一層不會有連線，一般相鄰的兩層是全部相連的 每一層的每個神經元都與另一層的每個神經元相連 1.前向傳播網路 ff 或 ffnn 它們從前往後傳輸資訊 分別是輸入和輸出 神經...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...