現代卷積神經網路動輒包含數百萬的神經單元,就像12.1節中討論的那樣,使用平行計算的高效實現是至關重要的。但是,有時候選用合適的演算法來加速計算也可以起到事半功倍的效果。
卷積等價於使用傅利葉變換同時將輸入和核轉化為頻域(frequency domain),然後執行畫素層面的兩個訊號的乘法,最後使用反傅利葉變換將其轉換為時間域。對某些問題規模而言,這可能比單純的(*****)離散卷積實現更快。
當乙個d維核可以表示為d個向量的外積時,乙個向量對應乙個維度,這個核被稱為可分離(separable)的。當核是可分離的時候,單純的卷積操作是非常低效率的。這等價於將d個單維卷積組合到一起。組合方式比對d個向量組成的張量進行d維卷積要有效率的多。當使用向量來表示時,核需要的引數也更少。如果核在每個維度上都有w個元素。那麼單純多維卷積需要o(w ^ d)複雜度的執行時間和引數空間,但是如果使用組合方法,那麼複雜度就會降低至o(w * d)。當然並非所有卷積都可以表示成這種形式。
在不損害模型精度的情況下尋找更快的卷積演算法是研究的熱門方向。即使是僅僅可以改善前向反饋效率的技術也是千金難求,因為在商業領域中,一般來說部署乙個神經網路比訓練它要耗費更多的資源。
深度學習Deep Learning
概述 deep feedforward network 深度前饋網路 又名feedforward neural network 前饋神經網路 或 multilayer perceptron 多層感知器 是深度學習模型的精髓 前饋網路的目的是逼近某種方程f 比如乙個分類器,y f x 將輸入x對映到類...
DeepLearning 應用概述
利用卷積的目標篩選功能,用在視覺識別領域。現在此領域好用的網路基本上全部基於cnn,核心都是卷積。迴圈神經網路用於語音識別於自然語言處理。相較於 cnn 在影象識別和檢測方面的廣泛應用,基於序列模型的 rnn 的應用方面則是語音識別 文字翻譯和自然語言處理等其他更為激動人心的領域。所以,正如 cnn...
深度學習Deep learning
第二章 tensorflow之前期零七八碎的小知識 二 tensorflow小知識 總結深度學習入門必須了解一些關於numpy的知識,本文介紹一些零七八碎的注意事項。array1 1,2,3 4,5,6 7,8,9 array2 array1 這麼做是不對的 python中只是把array1的記憶體...