自監督關鍵點檢測和特徵描述子生成
自監督訓練方法
使用全卷積神經網路架構,乙個共享的encoder對進行編碼,兩個decoder分別檢測關鍵點和生成描述子
outperform lift in almost all metrics quantitatively
scores strongly in descriptor-focused metrics such as nn map and m.score, which means learned representations for descriptor matching outperform hand-tuned representations.
整個過程如圖所示
構建合成資料集
訓練magicpoint
在合成資料集上訓練magicpoint,驗證其效果優於一些經典演算法
magicpoint + homographic adaption生成pseudo ground truth
這一步使用訓練好的magicpoint來為目標領域影象進行pseudo ground truth生成
核心是使用隨機的homography(如圖)來wrap輸入影象,並結合同源影象的輸出影象,隨機的homography是由簡單的變換復合而成,這個過程就是homographic adaption
對於關鍵點檢測函式f
θf_\theta
fθ(即magicpoint),記i
ii為輸入影象,x
xx為輸出關鍵點,h
hh為隨機homography,則有
x =f
θ(i)
x=f_\theta(i)
x=fθ(
i)h
hh與f
θf_\theta
fθ可交換,則有
h x=
fθ(h
(i))
hx=f_\theta(h(i))
hx=fθ
(h(i
))x =h
−1(f
θ(h(
i)))
x=h^(f_\theta(h(i)))
x=h−1(
fθ(
h(i)
))通過足夠多的隨機的h
hh,來提公升關鍵點檢測器的效能,最終的檢測器為
f ^(
i;fθ
)=1n
h∑i=
1nhh
i−1(
fθ(h
i(i)
))\hat(i;f_\theta)=\dfrac\sum_^h^_i(f_\theta(h_i(i)))
f^(i;f
θ)=
nh1
i=1
∑nh
hi−
1(f
θ(h
i(i
)))選擇homography(3×3矩陣)
並非所有homography都是適合的,首先從截斷正態分佈中取樣各種基變換,然後結合為乙個homography
superpoint
最後pseudo ground truth被用來訓練superpoint,這個過程就是普通的監督模型
超引數n
hn_h
nh的選擇
預設第乙個homography為恒等變換,因此nh=
1n_h=1
nh=
1預設為沒有進行變換,合適的值為nh=
100n_h=100
nh=10
0
第二十四周專案6 點和距離
讀程式,寫出函式的定義,注意其中列舉型別的用法。enum symmetricstyle 分別表示按x軸,y軸,原點對稱 struct point double distance1 point p1,point p2 兩點之間的距離,如果用distance,將會與命名空間std中也已經定義的dista...
習題日常第二十四練
這個題有點繞。我們可以通過從終點出發,將已知邊反向,用bfs搜,找到可以直接到達終點的點。再通過對每個點遍歷,若這個點不能到終點,則反向後的所有與它相連點都不能到。但是注意,此時刪點有後效性,需要用兩個陣列完成。最後在所有合法點上再跑一遍迪傑斯特拉演算法求最短路即可。include include ...
冥想第二十四天
還有乙個需要提高的地方就是 慢一點,以往自己對成功和只是追求的太急切。一急切就亂了節奏,適當的急切是必要的 放輕鬆全身都是最舒服的狀態。平靜的內心讓自己能面對生活的困難。感謝自己,感謝家人,感謝朋友,感謝一切。不責怪自己,一天比一天進步就好。慢慢來。下午和客戶積極的溝通,全身心的投入,發現一點也不困...