由於輪式機械人基本上都是在平面上運動的，這就會導致vio系統不可觀的自由度增加，比如說尺度。為了解決這一問題，就引用了編碼器，編碼器的引用會解決這些問題[1]，所以呢，在輪式機械人上編碼器和vio的融合也成為了乙個研究的方向。
該篇文章主要是做了三點的工作：（1）imu與odometry的預積分，（2）odometry的引用之後的初始化過程，主要是為了修正重力方向和給相機位姿乙個真實的尺度，（3）線上的外參標定。
這裡用到了imu、相機和輪速計，所以一共需要4個座標系，imu座標系，相機座標系，輪速計座標系以及世界座標系，**中使用下圖進行表示。除了世界座標系，相機和輪速計都是通過imu來進行轉化的，所以需要標定imu和相機，輪速計和imu之間的外參。
座標系之間的關係
該預積分的imu部分與vins-mono的**中寫的是一樣的，區別就是多了一項編碼器部分，這裡的公式為
預積分的公式
這是在第k和第k+1幀影象之間的積分，
積分的過程肯定是存在誤差和雜訊的傳播，這裡就需要通過協方差來進行傳遞，就需要計算後一時刻對前一時刻的雅克比a，以及後一時刻對雜訊的雅克比b，通過下面的公式進行協方差的傳遞
協方差的傳遞
初始化過程主要是為了優化imu的角速度偏置，重力方向，以及根據輪速計得到尺度資訊。不像無人機可以自由的在天空翱翔，輪式機器的運動是有侷限性的，這也是他在初始化階段會由於激勵不夠導致初始化失敗的原因。所以該篇文章在這個部分也對vins-mono進行了一定的修改。
1、對於角速度的偏置計算需要最小化的函式為
預積分已經得到了旋轉對角速度偏置的雅克比，誤差也已知，這樣就可以得到角速度偏置。
2、重力方向的優化
在vins中優化的是相機座標系下的重力，而該篇文章中優化的在imu座標系下的重力，imu的位置與里程計的位置之間的轉化關係為下面公式(1)，其中o為odometry的座標系，
表示的是和主幀相機時間對齊的imu幀
根據預積分並且將世界座標系轉換為
座標系，可以得到
將（1）式帶入（2）式，並且對重力加速度進行施密特正交化，最後就可以得到**中的公式
重力優化公式
其中 ，g是重力的幅度，將其進行施密特正交化，就會得到令兩維的方向，優化的時候只要優化這兩維的幅度就可以了。另兩維的表示為
，得到
。這樣得到imu座標系下的重力就可以得到imu與世界座標系之間的關係，就能讓imu與世界座標對齊了，也讓imu與odometry之間對齊。
對於相機的位姿，文章中使用的是航跡推算，這裡文章中沒有細說，我的理解應該是相機的位姿使用的就是里程計的位姿，通過里程計與相機之間的外參就能得到相機的位姿了。
3、非線性優化
需要優化的變數如下所示
優化變數
k表示滑窗內的關鍵幀個數。
優化的目標為
優化目標函式
為重投影誤差形式和雅克比與vins相同，
為先驗誤差也和vins一樣，
為imu和odometry的誤差，形式如下表示
imu和編碼器誤差
這裡就是多了第4項，它的誤差可以通過（1）式得到，優化是通過ceres的dogleg進行的。初始的時候外參是固定的，加速度偏置收斂的時候才進行優化。
文中寫的是線上外參標定，我覺得這應該算是乙個外參優化，因為在初始化階段需要知道外參。
在這一部分提出了乙個理論就是如果要進行外參優化，必須等到加速度偏置是否收斂。使用該項準則的原因如下圖所示
可以看到綠線，在初始化後進行外參優化會很不穩定。造成這樣的原因是認為其他引數沒有很好的進行約束，這裡就提出了乙個加速度偏置。確實在初始化之後，加速度偏置也是沒有進行優化的。文中就引出了乙個等加速度偏置收斂了再進行外參的優化，如何判斷加速度是否收斂，文中用實驗結果發現車轉彎超過45度之後，角速度的偏置會在後面趨向於乙個穩定值。判斷依據是兩個連續估計的加速度偏置在20s之內小於下面的閾值
加速度偏置幅度的閾值
為加速度偏置白雜訊的標準差，
表示每兩個連續估計加速度之間的平均時間。雅克比的計算可以見**。
該篇**大部分的內容還是參考了vins-mono，主要就是增加了乙個里程計約束項，但是在初始化階段相機位姿方面我還是沒怎麼搞清楚它到底是不是使用的是輪速計的位姿來進行計算的。
視覺 慣性里程計 IMU預積分
1.introduction imu的輸出頻率很高 100 1khz 所以優化變數會快速增長，使得實時優化變得infeasible。christian forster提出用將兩幀影象間的imu取樣資料用預積分的方法變為乙個constraint，從而降低優化變數。對於兩幀影象間的standard im...
imu預積分 視覺慣性里程計的IMU預積分模型
為什麼工程實踐中我們使用視覺與imu融合的解決方案即視覺慣性里程計 vio 來估計運動而不是簡單地使用視覺里程計 vo 視覺慣性里程計的感測器主要包括相機和慣性測量單元 imu 兩種感測器各有優缺點，vio的優勢就在於imu與相機的互補性。視覺感測器在大多數紋理豐富的場景中效果很好，但是遇到玻璃或白...
里程計 推算定位與視覺里程計
以下內容翻譯自wiki百科。里程計是一種利用從移動感測器獲得的資料來估計物體位置隨時間的變化而改變的方法。該方法被用在許多種機械人系統 輪式或者腿式 上面，來估計，而不是確定這些機械人相對於初始位置移動的距離。這種方法對由速度對時間積分來求得位置的估計時所產生的誤差十分敏感。快速 精確的資料採集，裝...