VINS-MONO: A Robust and Versatile MonocularVisual-Inertial State Estimator review

 

https://arxiv.org/pdf/1708.03852.pdf

Measurement Preprocessing

visual measurements에서는 연속적인 프레임 사이의 feature를 쫓고,

가장 최근의 프레임에서 새로운 feature를 찾는다.

imu measurement는 연속적인 두 프레임 사이에서 pre-integration을 한다.

IMU bias도 고려한다.

 

1) Vision processing Front-end

각각의 이미지에서 feature들은 KLT sparse optical flow 알고리즘에 의해서 추적된다.

각 이미지에서 최소한의 피쳐 개수를 유지하기 위해 새로운 corner feature들이 각 이미지에서 추출된다.

detector는 두 인접한 feature들 간의 최소 픽셀 간격을 설정함으로써 평준한 feature 분포를 보장한다.

2d feature들은 먼저 왜곡을 제거시킨 후, outlier rejection을 수행한 후, unit sphere로 투영된다.

outlier rejection은 RANSAC을 사용하여 수행된다.

 

키프레임은 두 가지 기준에 의해서 선정한다.

첫 번째, 평균 parallax이다.

현재 프레임과 가장 최근의 프레임 사이의 parallax가 특정 threshold를 넘으면

우리는 이 프레임을 키프레임으로 선정한다.

이 때, parallax는 translation 뿐만 아니라 rotation에 의해서도 유발되기 때문에

gyroscrope measurements에 short-term integration을 수행하여 parallax를 구할 때 사용한다.

두 번째, tracking quality이다.

만약 추적된 피쳐가 특정 threshold보다 적으면 우리는 이를 키프레임이라고 정하였다.

이는 피쳐 추적이 완전히 멈추는 것을 방지하기 위함이다

 

 

IMU pre-integration

이 논문에서는 IMU bias correction을 포함한 것이 키포인트이다.

(1) 수식은 gyroscrope과 accelerometer의 raw 데이터를 표시한 것이다.

bat, bwt는 gyro와 accel의 bias이다. 이 bias는 무작위로 모델링되었고, 그 미분값은 가우시안 함수를 따른다.

na, nw는 gyro와 accel의 노이즈이다. 우리는 이 노이즈를 가우시안으로 가정하였다.

 

(3), (4) 수식을 보면,

tk와 tk+1의 두 이미지 프레임의 position, velocity, orientation(quaternion)은

tk와 tk+1 사이의 IMU measurement값으로 보정되는 것을 알 수 있다.

 

• 이전 논문 
  • T. Lupton and S. Sukkarieh, “Visual-inertial-aided navigation for highdynamic motion in built environments without initial conditions,” IEEE Trans. Robot., vol. 28, no. 1, pp. 61–76, Feb. 2012.
  • S. Shen, N. Michael, and V. Kumar, “Tightly-coupled monocular visualinertial fusion for autonomous flight of rotorcraft MAVs,” in Proc. of the IEEE Int. Conf. on Robot. and Autom., Seattle, WA, May 2015.
  • C. Forster, L. Carlone, F. Dellaert, and D. Scaramuzza, “IMU preintegration on manifold for efficient visual-inertial maximum-a-posteriori estimation,” in Proc. of Robot.: Sci. and Syst., Rome, Italy, Jul. 2015.

Estimator Initialization

Monocular tightly-coupled visual-inertial odometry는 non-linear system이다.

왜냐하면 단안의 카메라에서 scale을 직접적으로 볼 수 없기 때문이다.

visual, IMU measurements 를 잘 융합시키기 위해서는 초기값 설정이 매우 중요하다.