看球,我選上帝視角

2021-09-20 07:50:22 字數 2265 閱讀 4940

4:3,梅西回家了;2:1,c羅也回家了,這屆世界盃真是激烈又精彩。

但對於無法前往現場的(偽)球迷們,只能屈身於手機、電視的平面看直播了吧?

在新技術應用乙個接乙個的今天,到底有沒有更新、更技術的方式,重新定義一下看個球?

試想一下:如果可以通過ar裝置,將賽況實時投到桌面上,並且隨你移動,還能盡覽不同視角、不同距離的全場景球況,該是多麼過癮的一種選擇。

噫……這是把世界盃搬到了任意桌面了麼?而且還能各個角度繞著球場看比賽——就算身在現場也做不到啊!

恭喜你,這種「上帝視角」,可能不久就能實現了。

擁有了這個系統,感覺宛如擁有了整個球場,這到底是怎麼做到的?

3d轉換的秘笈

桌面看球的大思路其實很簡單。

只要充分利用球場部署的多角度相機,之後通過多視角幾何技術,對場地和玩家進行三維重建,2d世界盃就公升級為3d場景了。

因此,研究人員提出了這樣的思路——

 思路沒錯,但緊接著問題就來了:

想訓練神經網路模型根據球員影象來估計他的景深圖,最理想的資料集裡,應該包含著一對對的球員**vs.景深圖。

這樣的資料集上哪找?

機智。現在資料完備,就差個能夠**景深的神經網路了。

研究人員選取了「沙漏網路模型」,用一連串殘差模組,像乙個個沙漏一樣來處理輸入,經過8個「沙漏模組」實施降低輸入的解析度、放大等步驟,輸出的,就是我們所需要的景深圖。

重建3d球賽,go!

準備階段完成後,研究人員開始重建3d場景。整個流程一氣呵成,猶如進入了快餐店後廚——

大概分為以下幾步:

1.相機位置估計:用乙個合成的平面場模板預估真實場景中每幀的引數,進一步找到相機在每個連續幀中的姿態。

2.球員檢測和追蹤:提取球員的邊界box檢測到的關鍵點/骨架,基於姿態資訊對初始的邊界框進行細化,再根據提取的邊框序列預計球員的運動軌跡。

3.實時例項分割:預估每個球員用於深度預估網路的分割掩碼,借助語義分割和前一步的姿態估計。

5.形成3d軌跡:減少相機位置和邊界框定位時不精確帶來的球員抖動,對3d球員軌跡進行平滑處理。

一連串操作至此,3d合成大功告成。

渲染後得到最後的效果圖:

毫無疑問,這種方法可以得到更精確和完整的深度估計,重建的效果也最好。

美中不足

雖然場景不錯,但這項技術目前並不完善,還不能讓你隨心暢看。

bug 其實很明顯,剛在**效果的時候,各位有沒有看見足球?

——冇。

沒錯,目前這套系統最大的問題就是還沒有對足球進行處理,球的軌跡無法渲染出來,場上一票球員如同在踢「空氣球」。

此外,系統對球員及守門員的(位置)把控不夠準確,被遮擋的球員顯示不完整。這就導致球員有時球員會突然消失,然後突然出現,猶如習得傳送**。

改善畫面重建的品質

實現實時3d重建

預估足球的位置

讓這項技術也能用於其他運動,讓籃球、橄欖球、排球等等運動的球迷也能同此待遇。

華盛頓大學出品

這項研究的**soccer on your tabletop發表在cvpr 2018上,作者有四,均屬於華盛頓大學(張亞勤母校)的grail lab實驗室,分別為konstantinos rematas、ira kemelmacher-shlizerman、brian curless和steve seitz.

△ 一作konstantinos rematas

如果覺得這項研究和你胃口,可移步傳送門深入挖掘。

我不和你看球

歐洲已經如火如荼的進行了第乙個週期的8場比賽,除了法國與羅馬尼亞的比賽很讓人鬱悶之外,其他的場次都還是值得一看的。其中最精彩最蕩氣迴腸當然應屬義大利對荷蘭的比賽。原本是打算去球吧看比賽的,後來因為某些原因而該在宿舍獨自看球賽了.論看球的話同伴是很重要的,若能找到幾個志同道合的朋友一起看那真是一件爽事...

產品經理如何開啟上帝視角?

昨天一位訂閱使用者發來私信說讀了 在做了n年產品後,我悟出了這乙個道理 一文,能否分享幾本你看過並且值得推薦的相關的書?我猜這位朋友是想找書單,又僅僅是書單,更準確的說是想如何 得到 做產品所需要的 大視野 於是我回覆說具體的書目並不重要,因為每一本書都是集中於具體某一領域的,而做產品是需要大視野的...

上帝的視角 審視軍民融合無人機技術

隨著無人機應用領域的不斷擴大,市場需求逐漸提公升,公眾對於無人機的關注度也與日俱增。從無人機研發最初的軍事化用途,經過近乙個世紀的發展,現已在工業 民用等領域多有涉及。去年年底,國家工業和資訊化部發布 促進新一代人工智慧產業發展三年行動計畫 將包括智慧型無人機在內的八大類人工智慧產品作為重點培育方向...