4:3,梅西回家了;2:1,c羅也回家了,這屆世界盃真是激烈又精彩。
但對於無法前往現場的(偽)球迷們,只能屈身於手機、電視的平面看直播了吧?
在新技術應用乙個接乙個的今天,到底有沒有更新、更技術的方式,重新定義一下看個球?
試想一下:如果可以通過ar裝置,將賽況實時投到桌面上,並且隨你移動,還能盡覽不同視角、不同距離的全場景球況,該是多麼過癮的一種選擇。
噫……這是把世界盃搬到了任意桌面了麼?而且還能各個角度繞著球場看比賽——就算身在現場也做不到啊!
恭喜你,這種「上帝視角」,可能不久就能實現了。
擁有了這個系統,感覺宛如擁有了整個球場,這到底是怎麼做到的?
3d轉換的秘笈
桌面看球的大思路其實很簡單。
只要充分利用球場部署的多角度相機,之後通過多視角幾何技術,對場地和玩家進行三維重建,2d世界盃就公升級為3d場景了。
因此,研究人員提出了這樣的思路——
思路沒錯,但緊接著問題就來了:
想訓練神經網路模型根據球員影象來估計他的景深圖,最理想的資料集裡,應該包含著一對對的球員**vs.景深圖。
這樣的資料集上哪找?
機智。現在資料完備,就差個能夠**景深的神經網路了。
研究人員選取了「沙漏網路模型」,用一連串殘差模組,像乙個個沙漏一樣來處理輸入,經過8個「沙漏模組」實施降低輸入的解析度、放大等步驟,輸出的,就是我們所需要的景深圖。
重建3d球賽,go!
準備階段完成後,研究人員開始重建3d場景。整個流程一氣呵成,猶如進入了快餐店後廚——
大概分為以下幾步:
1.相機位置估計:用乙個合成的平面場模板預估真實場景中每幀的引數,進一步找到相機在每個連續幀中的姿態。
2.球員檢測和追蹤:提取球員的邊界box檢測到的關鍵點/骨架,基於姿態資訊對初始的邊界框進行細化,再根據提取的邊框序列預計球員的運動軌跡。
3.實時例項分割:預估每個球員用於深度預估網路的分割掩碼,借助語義分割和前一步的姿態估計。
5.形成3d軌跡:減少相機位置和邊界框定位時不精確帶來的球員抖動,對3d球員軌跡進行平滑處理。
一連串操作至此,3d合成大功告成。
渲染後得到最後的效果圖:
毫無疑問,這種方法可以得到更精確和完整的深度估計,重建的效果也最好。
美中不足
雖然場景不錯,但這項技術目前並不完善,還不能讓你隨心暢看。
bug 其實很明顯,剛在**效果的時候,各位有沒有看見足球?
——冇。
沒錯,目前這套系統最大的問題就是還沒有對足球進行處理,球的軌跡無法渲染出來,場上一票球員如同在踢「空氣球」。
此外,系統對球員及守門員的(位置)把控不夠準確,被遮擋的球員顯示不完整。這就導致球員有時球員會突然消失,然後突然出現,猶如習得傳送**。
改善畫面重建的品質
實現實時3d重建
預估足球的位置
讓這項技術也能用於其他運動,讓籃球、橄欖球、排球等等運動的球迷也能同此待遇。
華盛頓大學出品
這項研究的**soccer on your tabletop發表在cvpr 2018上,作者有四,均屬於華盛頓大學(張亞勤母校)的grail lab實驗室,分別為konstantinos rematas、ira kemelmacher-shlizerman、brian curless和steve seitz.
△ 一作konstantinos rematas
如果覺得這項研究和你胃口,可移步傳送門深入挖掘。
我不和你看球
歐洲已經如火如荼的進行了第乙個週期的8場比賽,除了法國與羅馬尼亞的比賽很讓人鬱悶之外,其他的場次都還是值得一看的。其中最精彩最蕩氣迴腸當然應屬義大利對荷蘭的比賽。原本是打算去球吧看比賽的,後來因為某些原因而該在宿舍獨自看球賽了.論看球的話同伴是很重要的,若能找到幾個志同道合的朋友一起看那真是一件爽事...
產品經理如何開啟上帝視角?
昨天一位訂閱使用者發來私信說讀了 在做了n年產品後,我悟出了這乙個道理 一文,能否分享幾本你看過並且值得推薦的相關的書?我猜這位朋友是想找書單,又僅僅是書單,更準確的說是想如何 得到 做產品所需要的 大視野 於是我回覆說具體的書目並不重要,因為每一本書都是集中於具體某一領域的,而做產品是需要大視野的...
上帝的視角 審視軍民融合無人機技術
隨著無人機應用領域的不斷擴大,市場需求逐漸提公升,公眾對於無人機的關注度也與日俱增。從無人機研發最初的軍事化用途,經過近乙個世紀的發展,現已在工業 民用等領域多有涉及。去年年底,國家工業和資訊化部發布 促進新一代人工智慧產業發展三年行動計畫 將包括智慧型無人機在內的八大類人工智慧產品作為重點培育方向...