Lidar-Inertial Odometry 를 활용한 극한 환경에서의 비디오 안정화 기술 개발

I. 서론

최근 로보틱스 분야에서는 카메라를 활용한 객체 인식과 깊이 추정 등 다양한 연구가 활발하게 이루어지고 있다[1-2]. 하지만 시스템의 급격한 움직임으로 인해 발생하는 카메라의 흔들림은 이러한 알고리즘의 성능과 활용에 한계를 초래할 수 있다. 비디오 안정화 기술은 움직임이 많은 카메라 장착 시스템에서 카메라 시스템의 자세를 추정하고, 이를 컴퓨터 비전 기술의 원근 변환(perspective transform)을 이용하여 급격한 움직임과 로봇의 뒤틀림으로 인한 기울어진 화면을 보정하는 기술이다. 이 기술은 불안정한 환경에서 안정적인 영상 품질을 보장할 수 있기 때문에 드론, 차량, 로봇 등 다양한 분야에서 필수적인 기능으로 자리잡고 있다. 흔히 짐벌(gimbal)이라고도 불리며, 카메라 시스템의 자세를 추정하여 수평 상태 혹은 급격한 이동을 억제시키고 안정적인 시스템 자세를 유지하도록 하는 방식으로 안정화된 비디오 프레임을 생성해낼 수 있다. 대부분의 SW 기반 비디오 안정화 기술은 이미지 기반 특징점 추출 방식[3-4]이나 이미지 인페인팅 방식[5-6], 딥러닝 기반[7-10]의 방식으로 이루어지고 있다. 이미지 기반 특징점 추출을 통한 카메라 시스템의 자세 추정 방식은 이미지만을 이용하여 간편하게 구성할 수 있지만, 컴퓨터 자원 소모가 크고, 특징점이 없는 단조로운 환경이나 빛이 부족한 극한 환경에서는 모션 블러나 롤링 셔터 왜곡 등 카메라 센서 자체의 한계로 해결하기 어려운 문제점이 발생한다. 카메라의 움직임으로 인해 손상된 이미지의 일부를 주변 픽셀의 정보를 이용하여 복원하는 인페인팅 방식은 매우 동적인 환경에서는 아티팩트로 인하여 이미지를 적절히 복원하기 어렵다는 단점이 존재한다. 앞선 방식의 한계점을 해결하기 위한 딥러닝 기반의 접근법도 제시되었으나, 이미지 처리 특성상 제한된 컴퓨팅 환경에서 구동하는 데 어려움이 많다.

따라서 본 논문에서는 LIO (Lidar Inertial Odometry)를 활용한 비디오 안정화 기술을 제안한다. 라이다 센서와 관성 측정 센서가 장착된 로봇에서 LIO 알고리즘을 통해 로봇과 카메라 시스템의 자세를 추정한 뒤, 이를 비디오 안정화에 사용하는 방식이다. 기존의 이미지 기반 비디오 안정화 기법에 비해 컴퓨터 자원 소모가 적으며, 이미지 특징점이 없거나 부족한 환경에서도 원활하게 작동할 수 있다. 알고리즘은 서로 다른 주기의 라이다, IMU, 카메라에도 강건하게 작동할 수 있도록 설계되었으며 협소 공간 저조도 환경에서 소형 로봇으로, 일반적인 조도 환경에서 Hand-held 실험으로 성능을 검증하였다.

II. 제안 방법

2. Odometry Filtering

FAST-LIO2 결과로 얻을 수 있는 Odometry는 정확도가 높지만, Odometry roll, pitch, yaw 각도 변화량에는 그림 1과 같이 Oscillation이 존재한다. 비디오 안정화 과정에서 해당 roll, pitch, yaw 각도를 카메라 시스템의 자세로 바로 사용할 경우 성능 저하를 일으킬 수 있다.

Fig. 1.

Changes in roll, pitch, and yaw angles over time in the FAST-LIO2 odometry and the results after odometry filtering.

따라서 이를 평활화하기 위한 방법으로 이동 평균 필터를 사용하여 FAST-LIO2 결과 Odometry 값에 대한 후처리를 진행하였다. 이동 평균 필터의 특성 상, 윈도우의 크기가 클수록 데이터가 평활화되는 정도는 크지만, 데이터 변화에 반응성이 떨어질 수 있다. 즉, 보다 부드럽게 비디오 안정화가 가능하나 빠른 움직임을 가지는 로봇 시스템 등에서는 반응성이 떨어지는 문제가 나타날 가능성이 있다. 따라서 이를 복합적으로 고려한 윈도우 사이즈 선정이 필요하다.

4. Image Stabilization

실험 환경에서 사용된 로봇의 좌표계는 그림 2와 같다.

Fig. 2.

Coordinate systems of the IMU and camera sensors used in the experiment.

FAST-LIO2 Odometry는 IMU 좌표계를 기준으로 하기 때문에 IMU 좌표계를 Reference 좌표계 𝑅 ∶ {𝑂_𝑅, 𝑋_𝑅, 𝑌_𝑅, 𝑍_𝑅}로, 카메라를 C : {O_C, X_C, Y_C, Z_C} 좌표계로 정의하였다. 로봇이 움직이면서 자세에 따라 두 좌표계는 각각 고정된 지면 좌표계 W : {O_W, X_W, Y_W, Z_W}에 대한 회전이 발생할 수 있다. 이 때, 좌표계의 축이 로봇의 진행방향 및 중력과 나란하도록 좌표계를 회전시킨 수평 방향의 좌표계를 각각 R_H : {O_RH, X_RH, Y_RH, Z_RH}, C_H : {O_CH, X_CH, Y_CH, Z_CH}로 정의하였다. IMU, 카메라 각각의 수평 방향 좌표계에 대하여 회전 변환만이 작용하였기 때문에 O_R ≡ O_RH, O_C ≡ O_CH의 관계가 성립한다.

FAST-LIO2 결과 Odometry 출력 값을 통해 시작 기준 좌표계에 대한 회전 정보를 쿼터니언 형태로 얻을 수 있다 (q = q_ω + q_xi + q_yj + q_zk).

$\[ \varphi ={\tan }^{-1}\left(\frac{2\left(q_w{q}_x+q_y{q}_z\right)}{1-2\left(q_x^2+q_y^2\right)}\right) \]$

(2)

$\[ \theta ={\sin }^{-1}\left(2\left(q_w{q}_y-q_x{q}_z\right)\right) \]$

(3)

$\[ \psi ={\tan }^{-1}\left(\frac{2\left(q_w{q}_z+q_x{q}_y\right)}{1-2\left(q_y^2+q_z^2\right)}\right) \]$

(4)

(2)-(4)의 식을 사용하여 쿼터니언 값을 x, y, z 축 방향의 회전인 roll(ϕ), pitch(θ), yaw(ψ) 각도로 변환하여 현재 기준 좌표계의 자세 정보를 나타내는데 사용할 수 있다. 앞선 기준 좌표계와 수평 방향 좌표계 사이의 관계를 고려하여, 초기 roll, pitch 각도를 0으로 가정하면,

$\[ \begin{array}{l}{\mathbf{R}}_R^{R_H}={\mathbf{R}}_z\left(\psi \right){\mathbf{R}}_y\left(\theta \right){\mathbf{R}}_x\left(\varphi \right)={\mathbf{R}}_y\left(\theta \right){\mathbf{R}}_x\left(\varphi \right)\end{array} \]$

(5)

수평 좌표계의 정의에 의하여 ψ = 0 이므로 기준 좌표계와 그에 해당하는 수평 좌표계 사이의 회전 행렬을 (5)와 같이 구할 수 있다.

비디오 안정화를 위해, 대부분의 방식은 넓은 화각의 카메라를 사용한 뒤 이를 잘라내어 안정화된 프레임을 생성한다. 해당 연구에서도 먼저 카메라 렌즈 왜곡이 있는 넓은 화각의 이미지를 보정하여 왜곡이 없는 새로운 이미지로 변환한다.

$\[ \begin{array}{l}K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\end{array} \]$

(6)

기존의 카메라의 내부 파라미터 행렬은 (6)와 같이 x, y 방향 초점거리 f_x, f_y 와, 이미지 중심 좌표 c_x, c_y 로 정의된다. 카메라 캘리브레이션 과정[16-17]을 통해 이와 같은 행렬을 구할 수 있다. 카메라 렌즈 왜곡을 보정하기 위해서는 (7), (8)과 같이 왜곡된 각 픽셀의 좌표(x , y) 를 보정된 좌표 (xundistorted, yundistorted)로 변환해야 한다.

$\[ \begin{array}{ll}{x}_{\mathrm{u}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{o}\mathrm{r}\mathrm{t}\mathrm{e}\mathrm{d}}=& x\cdot \left(1+k_1\cdot r^2+k_2\cdot r^4+k_3\cdot r^6\right)\\ & +\left(2p_1\cdot x\cdot y+p_2\cdot \left(r^2+2x^2\right)\right)\end{array} \]$

(7)

$\[ \begin{array}{ll}{y}_{\mathrm{u}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{o}\mathrm{r}\mathrm{t}\mathrm{e}\mathrm{d}}=& y\cdot \left(1+k_1\cdot r^2+k_2\cdot r^4+k_3\cdot r^6\right)\\ & +\left(p_1\cdot \left(r^2+2y^2\right)+2p_2\cdot x\cdot y\right)\end{array} \]$

(8)

이때 r² = x² + y²이고, k₁, k₂, k₃는 방사 왜곡 계수, p₁, p₂는 접선 왜곡 계수를 의미하며 카메라 캘리브레이션 과정을 통해 구할 수 있다. 왜곡이 보정된 좌표를 사용하여 새로운 카메라 내부 파라미터 행렬 K'을 구할 수 있다(9).

$\[ \begin{array}{l}{K}^{\text{'}}=\left[\begin{array}{ccc}{f}_x^{\text{'}}& 0& c_x^{\text{'}}\\ 0& f_y^{\text{'}}& c_y^{\text{'}}\\ 0& 0& 1\end{array}\right]\end{array} \]$

(9)

그림 3과 같이 왜곡이 없는 이미지를 생성한 뒤, 이를 센서 간의 기하학적 관계를 고려하여 수평 방향 좌표계로의 변환이 필요하다. 해당 과정은 [18]과 동일한 방식으로 진행하였다. 기존 이미지 평면 I 에서 이미지 픽셀의 동차 좌표계 표현 p'_I = [u_I v_I 1]^T과 해당 픽셀에 해당하는 3차원 좌표의 동차 좌표계 표현 p'_W = [x_W y_W z_W 1]^T사이에는 (10)의 관계식이 성립한다.

Fig. 3.

Image distortion correction, before (left) and after (right).

$\[ \begin{array}{l}{\mathbf{p}}_I^{\text{'}}=\mathbf{K}\left[{{\mathbf{R}}_W^C|}^C{\mathbf{t}}_W\right]{\mathbf{p}}_W^{\text{'}}\end{array} \]$

(10)

K 는 카메라 내부 파라미터 행렬을, $$ \left[{{\mathbf{R}}_W^C|}^C{t}_W\right]\in {\mathbb{R}}^{3\times 4}$$ 는 고정된 지면 좌표계와 카메라 좌표계 사이의 회전( $$ {\mathbf{R}}_W^C\in {\mathbb{R}}^{3\times 3}$$ )과 병진( $$ {{}^{C}t}_W\in {\mathbb{R}}^{3\times 1}$$ )을 결합한 결합 행렬을 의미한다. 마찬가지로 이를 수평 카메라 좌표계에 적용하면 (11)과 같다.

$\[ \begin{array}{l}{\mathbf{p}}_{I_H}^{\text{'}}=\mathbf{K}\left[{{\mathbf{R}}_W^{C_H}|}^{C_H}{\mathbf{t}}_W\right]{\mathbf{p}}_W^{\text{'}}\end{array} \]$

(11)

R ∈ SO(3)인 회전행렬 R에 대하여 (12)의 관계식이 성립하고,

$\[ \begin{array}{ll}{\mathbf{R}}_A^{B^{-1}}& ={\mathbf{R}}_A^{B^T}={\mathbf{R}}_B^A,\\ {\mathbf{R}}_B^A{\mathbf{R}}_C^B& ={\mathbf{R}}_C^A\end{array} \]$

(12)

이를 이용하면,

$\[ \begin{array}{ll}{\mathbf{p}}_W^{\text{'}}& ={\left[{{\mathbf{R}}_{C_H}^C{\mathbf{R}}_W^{C_H}|}^C{\mathbf{t}}_W\right]}^{-1}{\mathbf{K}}^{-1}{\mathbf{p}}_I^{\text{'}}\\ & =\left[{{\mathbf{R}}_W^{C_H}{\mathbf{R}}_{C_H}^{C^{-1}}|}^C {\mathbf{t}}_W^{-1}\right]{\mathbf{K}}^{-1}{\mathbf{p}}_I^{\text{'}}\\ & =\left[{\mathbf{R}}_{C_H}^W{\mathbf{R}}_C^{C_H}∣-{{}^C\mathbf{t}}_W\right]{\mathbf{K}}^{-1}{\mathbf{p}}_I^{\text{'}}.\end{array} \]$

(13)

(11)에 (13)를 대입하면,

$\[ \begin{array}{ll}{\mathbf{p}}_{I_H}^{\text{'}}& =\mathbf{K}\left[{{\mathit{R}}_W^{C_H}|}^{C_H}{\mathbf{t}}_W\right]\left[{\mathbf{R}}_{C_H}^W{\mathbf{R}}_C^{C_H}∣-{{}^C\mathbf{t}}_W\right]{\mathbf{K}}^{-1}{\mathbf{p}}_I^{\text{'}}\\ & =\mathbf{K}\left[{{\mathbf{R}}_W^{C_H}{\mathbf{R}}_{C_H}^W{\mathbf{R}}_C^{C_H}|}^{C_H}{\mathbf{t}}_W-{{}^C\mathbf{t}}_W\right]{\mathbf{K}}^{-1}{\mathbf{p}}_I^{\text{'}}\\ & =\mathbf{K}\left[{\mathbf{R}}_C^{C_H}∣0\right]{\mathbf{K}}^{-1}{\mathbf{p}}_I^{\text{'}}.\end{array} \]$

(14)

따라서, 기존 이미지 평면 I의 동차 좌표 p'_I와 수평 이미지 평면 I_H의 동차 좌표 p'_IH 사이의 호모그래피 변환 행렬은 $$ {\mathbf{H}}_I^{I_H}=\mathbf{K}\left[{\mathbf{R}}_C^{C_H}∣0\right]{\mathbf{K}}^{-1}$$ 로 정의할 수 있고, $$ {\mathbf{R}}_C^{C_H}$$ 는 카메라 좌표계와 수평 카메라 좌표계 간의 회전 변환을 의미한다.

$\[ {\mathbf{R}}_C^{C_H}={\mathbf{R}}_{R_H}^{C_H}{\mathbf{R}}_R^{R_H}{\mathbf{R}}_C^R \]$

(15)

$\[ ={\left({\mathbf{R}}_C^R\right)}^T{\mathbf{R}}_R^{R_H}{\mathbf{R}}_C^R \]$

(16)

$$ {\mathbf{R}}_C^{C_H}$$는 회전 행렬의 특성을 활용하면 (15)와 같이 풀어서 표현할 수 있다. IMU와 카메라가 강체로 연결되어 있으므로, IMU 수평 좌표계와 카메라 수평 좌표계 간의 회전행렬은 IMU 좌표계와 카메라 좌표계 간의 회전행렬로 (16) 나타낼 수 있다 ($$ R_C^{C_H}=R_R^C$$). IMU(라이다) 좌표계와 카메라 좌표계 간의 회전 행렬은 외부 파라미터 캘리브레이션 과정을 통해 계산할 수 있다[19-21]. 따라서 IMU-카메라 회전 행렬과 (5)를 이용하여 (16), (14)를 계산할 수 있고, 원본 이미지를 수평 좌표계로 변환이 가능하며 그 결과는 그림 4와 같다.

Fig. 4.

Stabilized image example, before (left) and after (right).

III. 실험 및 결과

1. 실험 환경

실험은 라이다-카메라 리그 장치를 탑재한 협소공간 주행 로봇(그림 5)을 활용하여 진행되었다. 총 세 개의 환경에서의 성능을 검증하였으며(그림 6), 두 개의 저조도-협소 실험 환경 한 개의 Hand-held 실험에서의 비디오 안정화 성능을 평가하였다. 저조도-협소 실험 환경은 암막으로 조명이 완전히 차단된 암실에서 카메라 전방에 부착된 조명만에 의존하며 협소한 공간을 주행하는 시나리오이며, Hand-held 실험은 일반적인 조명 환경에서 센서 리그를 직접 들고 복도를 이동하는 시나리오이다. 구체적인 실험 환경 및 데이터 구성은 표 1과 같다.

Fig. 5.

Narrow-space navigation robot used in the experiment.

Fig. 6.

Low-light and narrow-space, and hand-held experimental environments.

Table 1.

Experimental setup and data composition.

라이다-카메라 리그 시스템의 구성으로 라이다는 Livox사의 MID360 라이다를 사용하였고, 카메라는RasPi-CAM과 e-CAM24_CUNX, 150도 대각 시야각을 갖는 렌즈를 사용하였다. 이를 처리하는 임베디드 보드는 Nvidia Jetson Orin NX 보드를 사용하였고, 센서 데이터 드라이버와 비디오 안정화 코드는 ROS 기반 소프트웨어로 작성되었다.

3. 실험 결과

- 정량적 성능 분석

본 연구에서는 비디오 안정화 기법의 성능을 기존의 특징점 매칭 기반의 방식[4]과 비교하였다(표 2). 해당 정량 성능 비교는 사전 취득된 데이터를 P_C에서 테스트하는 방식으로 진행되었다. 각 환경의 데이터셋은 30초 정도 길이를 가지며, 환경별로 3개의 실험 결과를 평균 낸 값으로 성능을 측정하였다.

Table 2.

Quantitative performance evaluation results for the three experimental environments.

저조도-협소 환경 1에서는 Odometry 기반의 방식이 특징점 매칭 기반의 방식에 비해 모든 점수에서 앞서는 결과를 확인할 수 있다. 그림 6에서 확인할 수 있듯, 조도가 낮고 바닥에 턱이 존재하여 소형 로봇 주행 시 많은 흔들림이 발생하게 된다. 이와 같은 환경에서 특징점 추출 기반의 방식은 순간적으로 큰 움직임이 발생하였을 때 특징점 매칭에 어려움을 겪을 수 있으며, 저조도 환경 또한 특징점 추출을 어렵게 할 수 있다. 한편, 두 개의 카메라 센서에서 모두 Odometry 기반의 방식이 특징점 매칭 방식에 비해 좋은 성능을 보인다. 이는 본 논문에서 제시하는 비디오 안정화 알고리즘의 성능이 센서에 크게 의존하지 않다는 것을 의미한다.

저조도-협소 환경 2에서는 안정성 점수를 제외한 평가 점수에서 Odometry 기반 방식이 높은 성능을 나타냈다. 환경 1과는 다르게 환경 2에서는 바닥에 턱이 존재하지 않아 로봇에 순간적으로 큰 회전이 발생하지 않는다. 이러한 특성으로 인해 특징점 매칭 기반의 방식이 Odometry 기반의 비디오 안정화 기법보다 높은 Stability Score를 기록한 것으로 볼 수 있다. 그러나 알고리즘 소요 시간 측면에서 Odometry 기반의 방식이 대략 18배 정도 빠르며, 이는 최종 성능 점수에도 큰 차이를 발생시킨다.

일반적인 조도 환경의 Hand-held 데이터는 환경 3은 특징점 추출 및 매칭이 비교적 용이한 환경으로, 특징점 매칭 기반의 방식이 Odometry 기반의 방식에 비해 Stability Score가 높은 것을 확인할 수 있다. 그러나 앞선 2개의 환경과 마찬가지로 Odometry 기반의 방식이 짧은 계산 시간으로 인해 최종적으로 높은 성능 점수를 기록하였다. 종합적으로, 제안하는 Odometry 기반의 비디오 안정화 알고리즘이 저조도-협소 극한 환경에서 기존 방식[4]의 성능을 뛰어넘는 결과를 나타낸다.

- 컴퓨팅 성능 분석

비디오 안정화 기법에 따른 계산 시간 및 CPU 사용률은 표 3과 같다. 이때, 성능 비교는 Jetson Orin NX 온보드 상에서 진행되었다. 계산 시간은 이미지 100 프레임에 대한 평균 처리 속도를 의미하며, CPU 사용률은 6코어 600% CPU를 기준으로 한다. LIO의 Odometry 결과값을 받아 비디오 안정화를 수행하는 알고리즘의 특성 상, 이미지에서 특징점을 뽑고 매칭하는 방식에 비해 계산시간이 3배 이상 단축된다. 이는 딥러닝을 사용한 저지연 비디오 안정화 알고리즘을 복잡한 연산 처리에 강점을 가진 NVIDIA RTX 2080 Ti GPU에서 테스트한 결과[10] (대략 26 ms)와 대등한 프레임 처리 속도이다. 비록 LIO 알고리즘 자체의 계산 시간이 존재하나, Localization 알고리즘으로 LIO를 기존에 사용하고 있는 소형 로봇에서는 비디오 안정화에 사용되는 계산 시간을 크게 단축시켜 보다 부드러운 비디오 안정화가 가능하다 또한, CPU 사용률은 20%가량 감소한다. CPU 사용률에 계산 시간만큼 큰 개선이 없는 것은 이미지 변환에 사용되는 행렬 연산에 의한 것으로, 특징점 추출을 제외하면서 추출 과정에서 발생하는 CPU 병목 현상을 제거하여 CPU 점유율이 대비 연산 속도로 상승으로 이어져, 이는 적절하게 연산 처리 속도를 조정함으로써 CPU 점유율을 줄일 수 있는 가능성을 확보하였다.

Table 3.

Computation time and CPU usage (onboard).

IV. 결론

본 연구에서는 LIO를 사용한 비디오 안정화 알고리즘을 제안한다. 특히, 조도가 낮고 협소한 극한 환경에서의 주행 로봇에서의 사용 가능성에 초점을 맞추고 있다. 3 가지 실제 환경에서의 테스트를 통해 알고리즘의 성능을 확인하였으며, 기존의 특징점 기반 비디오 안정화 기법[4]보다 극한 환경에서의 비디오 안정화 성능이 개선되었다.

LIO Odometry 결과를 이동 평균 필터를 통해 일차적으로 평활화 과정을 거친 뒤, 쿼터니언 간의 구면 선형 보간법을 통해 외삽을 진행함으로써 카메라 센서의 주기와 LIO 알고리즘의 계산 주기에 강건하게 알고리즘이 동작할 수 있도록 구성하였다. 실제 두 가지 카메라 센서로 진행된 실험에서의 성능을 통해 강건성을 검증하였다.

비디오 안정화에 사용될 현재 프레임의 보정된 카메라 자세 값을 얻은 뒤에는, 이를 가상의 수평 카메라 평면으로 변환하는 과정에 활용하여 비디오 안정화를 진행하였다. 이 과정을 통해 얻은 수평 이미지는 협소한 공간에서 로봇의 회전 움직임이 큰 경우 조작자에게 보다 나은 인지 상황을 제공할 수 있고, 이렇게 가공된 안정화된 이미지는 객체 검출 등의 이미지 기반 기술의 성능을 높이는 것에도 활용될 수 있다. 추가적으로, 제안하는 방식은 LIO 이외의 Odometry 알고리즘과도 결합될 수 있으며, 비교적 적은 시스템 리소스 투자를 통해 비디오 안정화가 가능하다는 확장 가능성이 존재한다.

Acknowledgments

이 연구는 2024년도 산업통상자원부 및 산업기술평가관리원(KEIT) 연구비 지원에 의한 연구임(과제번호: 20018110).

REFERENCES

• J. Kim, H. Kim, J. Oh, X. Li, K. Jang, and H. Kim, “Distance measurement of tunnel facilities for monocular camera-based localization,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 29, no. 1, pp.7-14, Jan. 2023. [https://doi.org/10.5302/J.ICROS.2023.22.0203]
• D. Lee, J. Kim, J. Oh, X. Li, C. Ryu, and H. Kim, “Precise compensation of estimated distance by pose estimation using camera-imu sensor fusion,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 28, no. 12, pp. 1161-1169, Dec. 2022. [https://doi.org/10.5302/J.ICROS.2022.22.0133]
• K. Y. Lee, Y. Y. Chuang, B. Y. Chen, and M. Ouhyoung, “Video stabilization using robust feature trajectories,” 2009 IEEE 12th International Conference on Computer Vision, vol. 2009, pp. 1397-1404, Sep. 2009. [https://doi.org/10.1109/ICCV.2009.5459297]
• L. Kejriwal and I. Singh, “A hybrid filtering approach of digital video stabilization for UAV using Kalman and low pass filter,” Procedia Computer Science, vol. 93, pp. 359-366, 2016. [https://doi.org/10.1016/j.procs.2016.07.221]
• Y. Matsushita, E. Ofek, W. Ge, X. Tang, and H.-Y. Shum, “Full-frame video stabilization with motion inpainting,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 7, pp. 1150-1163, Jul. 2006. [https://doi.org/10.1109/TPAMI.2006.141]
• Z. Peng, X. Ye, W. Zhao, T. Liu, H. Sun, B. Li, and Z. Cao, “3D multi-frame fusion for video stabilization,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), vol. 2024, pp. 7507-7516, Jun. 2024. [https://doi.org/10.1109/CVPR52733.2024.00717]
• C. Li, L. Song, S. Chen, R. Xie, and W. Zhang, “Deep online video stabilization using IMU sensors,” IEEE Transactions on Multimedia, vol. 25, pp. 2047-2060, 2022. [https://doi.org/10.1109/TMM.2022.3142429]
• Z. Shi, F. Shi, W.-S. Lai, C.-K. Liang, and Y. Liang, “Deep online fused video stabilization,” in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), vol. 2022, pp. 1250-1258, Jan. 2022. [https://doi.org/10.1109/WACV51458.2022.00094]
• J. Yu and R. Ramamoorthi, “Learning video stabilization using optical flow,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), vol. 2020, pp. 8159-8167, Jun. 2020.
• Z. Zhang, Z. Liu, P. Tan, B. Zeng, and S. Liu, “Minimum latency deep online video stabilization,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), vol. 2023, pp. 23030-23039, Oct. 2023. [https://doi.org/10.1109/ICCV51070.2023.02105]
• J. Zhang and S. Singh, “LOAM: Lidar odometry and mapping in real-time,” Robotics: Science and Systems, vol. 2, no. 9, pp. 1-9, Jul. 2014. [https://doi.org/10.15607/RSS.2014.X.007]
• T. Shan and B. Englot, “LeGO-LOAM: Lightweight and ground-optimized lidar odometry and mapping on variable terrain,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), vol. 2018, pp. 4758-4765, Madrid, Spain, 2018. [https://doi.org/10.1109/IROS.2018.8594299]
• T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, and D. Rus, “LIO-SAM: Tightly-coupled lidar inertial odometry via smoothing and mapping,” 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), vol. 2020, pp. 5135-5142, Las Vegas, NV, USA, 2020. [https://doi.org/10.1109/IROS45743.2020.9341176]
• W. Xu and F. Zhang, “FAST-LIO: A fast, robust LiDAR-inertial odometry package by tightly-coupled iterated Kalman filter,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 3317-3324, Apr. 2021. [https://doi.org/10.1109/LRA.2021.3064227]
• W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, “FAST-LIO2: Fast direct LiDAR-inertial odometry,” IEEE Transactions on Robotics, vol. 38, no. 4, pp. 2053-2073, Aug. 2022. [https://doi.org/10.1109/TRO.2022.3141876]
• Z. Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, Nov. 2000. [https://doi.org/10.1109/34.888718]
• J. Kannala and S. S. Brandt, “A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 8, pp. 1335-1340, Aug. 2006. [https://doi.org/10.1109/TPAMI.2006.153]
• M. Odelga, N. Kochanek, and H. H. Bülthoff, “Efficient real-time video stabilization for UAVs using only IMU data,” 2017 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED-UAS), vol. 2017, pp. 210-215, 2017. [https://doi.org/10.1109/RED-UAS.2017.8101668]
• C. Yuan, X. Liu, X. Hong, and F. Zhang, “Pixel-level extrinsic self-calibration of high-resolution LiDAR and camera in targetless environments,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7517-7524, Oct. 2021. [https://doi.org/10.1109/LRA.2021.3098923]
• L. Zhou, Z. Li, and M. Kaess, “Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), vol. 2018, pp. 5562-5569, Madrid, Spain, 2018. [https://doi.org/10.1109/IROS.2018.8593660]
• G. Pandey, J. McBride, S. Savarese, and R. Eustice, “Automatic targetless extrinsic calibration of a 3D LiDAR and camera by maximizing mutual information,” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 26, no. 1, pp. 2053-2059, 2012. [https://doi.org/10.1609/aaai.v26i1.8379]
• J. Choi and I. S. Kweon, “Deep iterative frame interpolation for full-frame video stabilization,” ACM Transactions on Graphics, vol. 39, no. 1, Feb. 2020. [https://doi.org/10.1145/3363550]