1.為什麼區域性連線?
區域性感受野,區域性連線可以學到邊緣、端點等特徵,然後經過cnn的逐層區域性連線又可以講這些組合得到主鍵抽象的高層特徵
2.為什麼權值共享?
為了學到影象的不同位置的相同型別的特徵,比如學到斜線?直線?等,有效減少引數數目,比起全連線的網路模型也更加泛化?
2a,權值共享體現在**?
每個filter 要 全部走完整幅影象
2b,比方說有m層的輸出為96個特徵圖,則需要96個filter,然而每個filter並不是單純的為一張二維卷積濾波圖,而是卷積核:即輸入有幾個通道,則這個卷積核就需要幾張二維卷積濾波圖,且這幾張卷積濾波圖的每張和每張的引數是不一樣的:即輸入特徵圖為32個,特徵圖大小為28×28,而輸出特徵圖為96個,則共需要引數個數是28×28×31×96
2c,但是好像是乙個filter就有乙個bias
3.為什麼池化操作?
池化可以得到抗區域性平移、旋轉、不同解析度的更為魯棒的區域性特徵。池化後的影象變小,是否可以理解為也減少了儲存量?可實現關於特徵的區域性增強
4.多個filter的好處?
增加了更高階別影象區域性結構描述的多樣性
5,乙個epoch?
人們說的乙個epoch是指所有訓練樣本過一遍,我糾結的是,包不包括有標籤用來對模型進行測試的測試集,答案是不包括,這個訓練集是指用來學習進行的forward與backward的資料樣本。
6,inception模組是怎麼以稀疏連線替代稠密結構,在不增加模型自由引數規模前提下,網路深度得到有效提高,從而更為有效實現樣本特徵提取?
來自
7,1×1卷積核的作用?
來自於
發現很多網路使用1×1的卷積核,實際就是對輸入的乙個比例縮放,因為1×1卷積核只有乙個引數,這個核在輸入上滑動,就相當於給輸入資料乘以乙個係數。(對於單通道和單個卷積核而言這樣理解是可以的)對於多通道和多個卷積核的理解,
1×1卷積核大概有兩方面的作用:
1.實現跨通道的互動和資訊整合(具有線性修正特性,實現多個feature map的線性組合,可以實現feature map在通道個數上的變化,想象成跨通道的pooling,(輸入的多通道的feature map和一組卷積核做卷積求和得到乙個輸出的feature map)
2.進行卷積核通道數的降維和公升維(同時還具有降維或者公升維功能)
3.在pooling層後面加入的1×1的卷積也是降維,使得最終得到更為緊湊的結構,雖然有22層,但是引數數量卻只是alexnet的1/12
.4.最近大熱的msra的resnet也利用了1×1的卷積,並且是在3×3卷積層的前後都使用了,不僅進行了降維,還進行了公升維,使得卷積層的輸入和輸出的通道數都減小,數量進一步減少。如果1×1卷積核接在普通的卷積層後面,配合啟用函式,就可以實現network in
network的結構了。
5.還有乙個很重要的功能,就是可以在保持feature map尺度不變的(即不損失解析度)的前提下大幅增加非線性特性(利用後接的非線性啟用函式),把網路做的很deep。(平均池化是針對每個feature map的平均操作,沒有通道間的互動,而1×1卷積是對通道的操作,在通道的維度上進行線性組合)
來自 寫的挺清楚
1. 這一點孫琳鈞童鞋講的很清楚。1×1的卷積層(可能)引起人們的重視是在nin的結構中,**中林敏師兄的想法是利用mlp代替傳統的線性卷積核,從而提高網路的表達能力。文中同時利用了跨通道pooling的角度解釋,認為文中提出的mlp其實等價於在傳統卷積核後面接cccp層,從而實現多個feature map的線性組合,實現跨通道的資訊整合。而cccp層是等價於1×1卷積的,因此細看nin的caffe實現,就是在每個傳統卷積層後面接了兩個cccp層(其實就是接了兩個1×1的卷積層)。
2. 進行降維和公升維引起人們重視的(可能)是在googlenet裡。對於每乙個inception模組(如下圖),原始模組是左圖,右圖中是加入了1×1卷積進行降維的。雖然左圖的卷積核都比較小,但是當輸入和輸出的通道數很大時,乘起來也會使得卷積核引數變的很大,而右圖加入1×1卷積後可以降低輸入的通道數,卷積核引數、運算複雜度也就跟著降下來了。以googlenet的3a模組為例,輸入的feature map是28×28×192,3a模組中1×1卷積通道為64,3×3卷積通道為128,5×5卷積通道為32,如果是左圖結構,那麼卷積核引數為1×1×192×64+3×3×192×128+5×5×192×32,而右圖對3×3和5×5卷積層前分別加入了通道數為96和16的1×1卷積層,這樣卷積核引數就變成了1×1×192×64+(1×1×192×96+3×3×96×128)+(1×1×192×16+5×5×16×32
),引數大約減少到原來的三分之一。同時在並行pooling層後面加入1×1卷積層後也可以降低輸出的feature map數量,左圖pooling後feature map是不變的,再加卷積層得到的feature map,會使輸出的feature map擴大到416,如果每個模組都這樣,網路的輸出會越來越大。而右圖在pooling後面加了通道為32的1×1卷積,使得輸出的feature map數降到了256。googlenet利用1×1的卷積降維後,得到了更為緊湊的網路結構,雖然總共有22層,但是引數數量卻只是8層的alexnet的十二分之一(當然也有很大一部分原因是去掉了全連線層)。
8,怎麼在caffe的model zoo提供的例如alexnet和googlenet模型上進行微調(finetune)?
9,針對雙流卷積神經網路模型,使用交叉預訓練模型將用於rgb空間流的初始化模型怎麼用於時間流????
NC17511 公交路線
坑點 是m條邊 不是n條邊 思路 單源最短路 left 1 如果有負權值邊但是不構成負權值迴路則選spfa 2 全是正權值則選dijkstra 平均複雜度o nlog n 3 次外選spfa 平均複雜度o km k為平均可能進入佇列的點數,最差為o nm 即所有點都會進入佇列,退化為bellman ...
記自己的成長領悟和學習方法。
1.靜心 激情。2.友情,共同前行的人。3.明白快節奏的生活給你沉澱了什麼,你所不屑的行為沉澱下來會不一樣麼?4.還要很長的路要走,還要各種磨鍊等著我,路途艱辛,但不要忘了初心。愛我愛的人,做我愛的事。5.胸懷 6.做事注重細節,不搪塞,不馬虎,注重質量,注重品質。7.有些東西,相信第一感覺,不必為...
日常領悟一
1.很多時候,我們需要在資料庫中儲存使用者的一些資訊,比如性別,我們會用乙個int值來定義,1代表男性,0代表女性 那麼當我們從資料庫取到值的時候,我們還得在controller層或者service層進行轉換才能傳到view層,這是相當麻煩的,我在專案中看過一種寫法,那就是在set寫法裡直接進行轉換...