ar是什麼
ar是人類的第三隻眼，讓人類在現實世界中看到虛擬物體並與之互動。
目前ar的實際應用與剛需是最大的障礙，希望大家一定要考慮到剛需的問題，利用ar特有的優勢，這樣的應用，才能更好地發揮出ar的強勢特點。
vr是人類做夢的一種載體，完全虛擬的場景
ar能做什麼
三維註冊、實時互動、虛實結合等突出優點
ar有能力將二維互動變成三維互動，能讓虛擬物體看起來像真的一樣。舉幾個簡單的場景。
我覺得，如果未來ar能夠發展出更多的外延，那麼在消費領域會有機會取代手機 ，然後並在若干年後淪為賣廣告賺錢的工具 。而在工業領域，ar也有機會蹦躂幾下 ，然後被機械人取代。最後在消費端可能結合現有通訊功能的優點和顯示技術催生一種新的產品，目前可穿戴領域出現的概率比較高。
ar怎麼實現
目前ar需要通過外部裝置來實現。比如在手機上，通過獲取攝像頭影象並在上面疊加虛擬物體。而專業的ar裝置可以將虛擬物體成像在眼睛前面或投射入眼球。
ar需要什麼
要實現前面提到的三維互動，ar裝置需要具備下面三個功能
定位和環境感知用的就是傳說的slam技術。
硬體方面，微軟憋大招研發出了hololens，甩了所有競爭對手兩條街。google有project tango，但其定位不甚明確。還有很多號稱在某一方面或者全面超越hololens的東東，實驗室買了兩台holol感覺雖然產品的整合效能很好，但是不能落地，沒有催生真正的新的需求，耕讀的是被用來實驗室或者產品的研究。不過國外公司對該技術的重視是值得我們學習的。目前國內對該技術的法中儘管已經被列為國家戰略，但是，還沒有什麼比較能夠拿得出手的大神級產品出現，希望大家可以一起來推進事情的發展
軟體方面，微軟在圍繞windows 10構建生態。國內外都有一些還不錯的sdk，但在嵌入式平台上還沒有完全實現slam，離實用還有一點距離。而且，目前幾乎沒有好用的內容生產工具。
進入正題了。仔細觀察的話，發現ar的發展和vr有點類似。目前分成兩個比較明顯的派系：手機派和眼鏡派。手機派代表現在，目前，我國移動端的保有量，在億萬級別，而且，事情的發展，也是必須要經過這個階段，所以，目前我們專案組也在做相關的研究工作。眼鏡派卻未必能代表未來，新的產品可能會結合新一代的顯示技術，以乙個大家都沒有想到的形式，多時間內鋪開。
手機ar
手機ar側重於將虛擬物體疊加在手機攝像頭影象上呈現給使用者，主要依賴自我定位功能，暫時不涉及到環境感知和過多的互動。鑑於目前智慧型手機的普及程度，手機ar會是未來一兩年的主體。這是乙個有需求也有技術的市場。基於ar的營銷對普通消費者還是有一定吸引力的。大廠們都在布局和試水。其中又分為
lbs結合揮著imu的加入使得催生成更多有意義的產品！！！！！
基於攝像頭的ar
第一種是marker ar，基於特定的影象識別和追蹤，一種是指定的，一種是現場拍攝的。代表作vuforia。網易陰陽師也很有趣。
第二種ar不需要特定，主要基於物體識別和追蹤，比如人臉，手，身體等，並讓虛擬物體和人臉保持一定的相對位置即可。這類ar可以不用估計手機裝置的定位。個人比較喜歡snapchat，雖然很簡單，但創意十足。
基於陀螺儀的ar
借助陀螺儀和電子羅盤得到手機在三維空間的旋轉角度，但不能得到手機的位置。簡單的測試方法是，將手機前後移動時，虛擬物體的大小將保持不變（於是看上去虛擬物體在平移，不甚和諧）。很多vr盒子也是這個原理追蹤頭部的轉動。
基於slam的ar
目前都在加班加點。感謝raul，感謝leutenegger。
tango
聯想和google聯合出品了搭載tango模組的phab 2 pro手機，包含乙個全域性快門魚眼攝像頭，乙個消費級imu和乙個深度攝像頭，在硬體配置基本滿足slam的需求，因此很受開發者們歡迎。總之，乙個窮人版的hololens，富農版的手機。希望主流手機們能早日公升級成上述裝置，再配個有一定距離的雙攝就完美了。
然而，手機運算能力的不足會限制slam演算法的複雜度。攝像頭、cpu和gpu同時高強度工作，電池會消耗很快。畢竟，手機不是為此類應用設計的。手機硬體不足會降低演算法的精度和魯棒性。比如單目的尺度不確定性、捲簾快門、攝像頭和imu的資料同步等等。現階段，可以從應用倒推算法，以演算法促進應用。畢竟並不是所有應用都需要高精度的演算法。
ar眼鏡
ar眼鏡相比於手機，在體驗上可以有質的飛越。使用者可以透過眼鏡看到帶景深效果的虛擬物體（通過左右眼合像），而不是乙個偏平的螢幕。ar眼鏡通過更高規格的感測器和更強大的計算能力，同時支援實時精確定位、場景重建、語音互動、手勢識別等複雜功能。
業界這一兩年，有些產品看起來越來越像hololens，有些產品怎麼看起來還是更像google glass。說好的對標hololens呢！
hololens
個人意見，作為一款初代ar裝置，hololens已經可以打80分了，領先其它產品兩年以上。
想要做到便攜（無線），至少要把一套完整的slam演算法跑在裝置上，有實時的雙目（+imu）的slam，有低頻但後台執行的稠密場景重建（kinect fusion），還有複雜的三維網格生成和後處理，沒有強大的計算能力支撐是不可能。強大的計算能力意味著過高的功耗，這又要求複雜的電源管理，強大的電池容量和過大的體積。想要執行那麼多感測器同時降低功耗，就要有頂尖的軟硬體架構設計。哪些功能是必備，需要多少資源，哪些模組應該在什麼時候執行，不同模組之間如何互動，如何降低延遲（特別是場景重建）等等。 最後，所有這些都要整合進乙個頭戴裝置裡。 所以我覺得微軟的壁壘在整體架構設計而不是單一模組。
據hololens開發人員介紹，hololens的hpu上搭載了24個tensilica的dsp，其運算能力超過每秒一千億次[鏈結]。單塊dsp集中處理某類任務處理（應該是基於硬體加速）。atom soc主要用來執行windows 10 和顯示。演算法的執行速度大約為純軟體的200倍。hololens目前預留了一半左右的計算能力，並沒有用足hpu，後續還有很大的想象空間。未來嵌入深度學習模組不是夢啊。 傍上了黑科技深度學習，slam也許就能落到實處了。
其它廠商
大部分廠商目前還是以高通snapdragon 820 為主開發。對於手機來講，820勉強能應付，實現定位功能（vslam或者vio）。對於ar眼鏡來說，不僅感測器數目和功耗會高，演算法的種類和複雜度更是明顯提公升，特別是場景重建對於算力的要求非常高。820 soc 上有一顆hexagon 680 dsp ，可用來做演算法加速，特別是特徵點提取等前端功能。arm架構還可用neon技術來加速一些簡單重複計算。movidius、nu3000等晶元估計也快進入計畫了。但總體而言，還處在開發定位功能的過程中，軟硬體的架構都沒有完善。
演算法方面，隨著這兩年slam蓬勃發展，各家也積累了很多任務程經驗。相信不久的將來，定位功能應該能達到hololens目前的水平甚至更好，也可以支援多場景下的使用。然而，在場景重建方面，由於之前的工作大多基於高效能gpu在pc上實現，想要移植到移動平台上，還有好長的路要走。硬體軟體上都有太多的坑要趟了。 然而微軟已經做好了！就他家積累最多，還不開源！ （插個小廣告，之後可能會寫一點這方面的東西）
當然，hololens並不是完美的。硬體層面上，視場太小、重量偏重、體積太大、成本過高都不是容易解決的問題。軟體方面，互動方式創新，手勢、語音識別，資料共享，全息成像等等，還有很多值得做的事情。
個人覺得hololens最大的遺憾，是它沒有解決ar類裝置的核心問題：市場定位。很cool，然後呢？3000美元不是玩具，如果不能給使用者生產價值，那就無法真正進入消費級市場。
感謝給為大佬在orbslam vio等領域做出的開源的貢獻 ，極大的推進了ar的發展與應用，降低了入門的學費，使得我等小仔仔也有機會參與到自己喜歡的領域，參與到這一歷史程序中去。
SLAM應用的一些思考
關心slam技術的人有兩種。一是像我這樣的研究者，為了了解其中各種方法和模組的原理。二是機械人技術的開發者，旨在將slam技術用到他們自己的機械人上。從數量上來說，第二類人數遠多於第一類，他們的需求也日益迫切。slam是許多機械人技術的基礎。沒有預計的位姿和地圖，大部分任務都無法完成。這種需求，也是...
SLAM應用的一些思考
關心slam技術的人有兩種。一是像我這樣的研究者，為了了解其中各種方法和模組的原理。二是機械人技術的開發者，旨在將slam技術用到他們自己的機械人上。從數量上來說，第二類人數遠多於第一類，他們的需求也日益迫切。slam是許多機械人技術的基礎。沒有預計的位姿和地圖，大部分任務都無法完成。這種需求，也是...
如何開發一款有AR技術加持的應用？
ar augmented reality 也就是我們常說的現實增強技術，是一種實時地計算攝影機影像的位置及角度並加上相應影象的技術。簡單的說，ar就是把虛擬資訊疊加到現實世界，對現實世界進行隨心所欲編輯的技術。它最具吸引力的地方就是可以讓使用者以全新的方式和周圍的真實世界進行互動。ar應用的技術構成...