이동 객체 추정 성능 향상을 위한 LSTM 모델 기반 칼만필터 오차 보상 기법

1. 칼만 필터

칼만 필터의 두 가지 주요 과정으로는 예측 단계와 측정 업데이트 단계가 있다. 첫 번째 예측 단계는 이전 추정 상태($$ {\widehat{x}}_{k-1}$$ )와 오차 공분산(𝑃_𝑘−1 )을 사용하여 다음 시점에서의 상태 예측치($$ {\widehat{x}}_{\overline{k}}$$)와 오차 공분산 예측치(𝑃_𝑘)를 계산한다. 두 번째 단계인 측정 업데이트 단계에서는 상태 예측치($$ {\widehat{x}}_{\overline{k}}$$)와 측정치(𝑧_𝑘 ) 간의 차이를 이용하여 칼만 이득(𝐾_𝑘 )을 계산한다. 칼만 이득은 예측의 불확실성과 측정의 불확실성 사이의 상대적 신뢰도를 나타내며, 이를 사용하여 상태 추정치와 오차 공분산을 업데이트한다.

예측 단계:

측정 업데이트 단계:

2. 등속도 모델 기반 칼만 필터

상태 벡터(𝑥, 𝑣_𝑥, 𝑦, 𝑣_𝑦)는 x 위치, x 속도, y 위치, y 속도이며, 객체가 등속도 운동을 한다고 가정한 CVKF의 시스템 모델(𝐴)은 식 (5)와 같다. 측정치(𝑥_𝑜𝑏, 𝑦_𝑜𝑏)는 측정한 객체의 x, y 위치며 상태 벡터와의 관계(𝐻)는 식 (7)과 같다. 프로세스 노이즈(𝑤_𝑘)와 측정 노이즈(𝑣_𝑘)는 각각 공분산 행렬 𝑄_𝑘, 𝑅_𝑘로 이루어진 평균이 0인 가우시안 백색잡음이다. 𝑄_𝑘 는 시스템 모델의 불확실성, 𝑅_𝑘는 측정치의 불확실성을 나타내며 필터의 성능을 결정하는 중요한 매개변수이다.

3. AI 기법을 사용한 CVKF 오차 보상

외부 객체를 추정하는 상황에서는 시스템 모델과 매개변수를 정확히 파악하기 어려운 문제가 있다. 이에 외부 객체의 시스템 모델을 등속도 모델과 가속도 노이즈로 구성된 프로세스 노이즈로 설정하여 상태를 추정하고 예측하기 어려운 가속 또는 회전 운동, 프로세스 노이즈 선정으로 인한 CVKF의 추정 오차는 AI를 사용하여 보상한다. 제안하는 모델의 흐름도는 그림 1에 나타내었다. CVKF에서 재귀적으로 사용되는 내부 상태 벡터는 오차 보상이 이루어지지 않으며, 출력 상태 벡터에 대해서만 AI가 예측한 오차 보상을 적용하여 최종 위치를 추정한다. CVKF의 추정 상태와 측정치를 바탕으로 CVKF의 오차가 증가하는 상황을 인지하도록 하기 위해 AI의 입력으로 CVKF의 추정 상태 벡터와 측정치를 사용한다.

Fig. 1.

Flow diagram of AI error compensation in constant velocity model-based Kalman filter.

1. 기준 경로 데이터 생성

초기 위치 𝑥₀ = 0, 𝑦₀ = 0에서 경로가 생성된다. 초기 속도는 𝑣₀ = 0 ~ 30m/s 사이 무작위 값을 가진다. 초기 각도 또한 𝜃₀ = 0 ~ 360° 사이 무작위 값을 가진다. 가속도 (𝑎_𝑘)는 ±(1 ~ 5)m/s², 각가속도($$ {\dot{\omega }}_k$$)는 ±(0.035 ~ 0.175)rad/s² 범위의 무작위 값을 갖는다. 기준 경로(𝑥_𝐺𝑇, Ground-truth path) 데이터 생성 로직은 식 (10)과 같다. 무작위로 결정된 가속도와 각가속도를 바탕으로 생성한 경로의 예시를 그림 2에 나타내었다. 그림 3은 곡선 주로에 진입하기에서 앞서 10% 확률로 −20m/s² 가속도로 급감속하고, 이후 ±(2~3.5)m/s² 범위의 무작위 가속도로 가속하며 곡선주로를 진행하는 급감속 상황이 추가된 경로를 나타낸다.

Fig. 2.

Randomly generated paths without sudden deceleration scenario.

Fig. 3.

Randomly generated paths with sudden deceleration scenario.

2. 측정치 데이터 생성

기준 경로의 위치 데이터에 평균(𝜇) 0, 표준편차(𝜎) 3의 가우시안 백색잡음 𝜔(𝑧)를 더해 측정치를 생성한다.

3. CVKF 추정 상태 데이터 생성

𝑄_𝑘, 𝑅_𝑘를 𝜎_𝑄² = 10, 𝜎_𝑅² = 9, 𝑑𝑡 = 0.1, 식 (13), (14)와 같이 설정하고 CVKF 추정 상태 벡터를 생성한다. 그림 4는 기준 경로, 측정치 그리고 CVKF 추정 경로를 나타낸다. 직선 경로 구간에 비해 곡선 구간에서 CVKF 추정 위치에 오차가 증가하는 것을 확인할 수 있다.

Fig. 4.

Ground-truth, observation and CVKF estimation path.

4. 학습 데이터 생성 및 LSTM 모델 설계

오차 보상 AI 모델과 상태 추정 AI 모델의 입력 데이터는 시퀀스 길이에 해당하는 CVKF 추정 상태 벡터와 측정치로 동일하다. 오차 보상 모델의 경우 시퀀스 마지막 시점의 기준 경로의 위치와 CVKF 추정 위치의 오차를 출력하고, 상태 추정 모델의 경우 시퀀스 마지막 시점의 추정 위치를 출력한다. 시퀀스 길이는 LSTM 네트워크가 과거 정보를 얼마나 활용할 수 있는지를 결정하는 중요한 요소이다. 상태 추정 모델의 경우 시퀀스 길이에 측정치와 CVKF 추정치 데이터의 특성이 충분히 담겨야 하고, 오차 보상 모델의 경우 시퀀스 길이는 CVKF의 성능이 저하되는 곡선 혹은 감가속 구간에 있다는 정보 또한 담겨야 한다. 샘플링 주기 0.1초로 무작위로 선택된 가속도로 객체의 움직임을 기록하였을 때 14개의 시퀀스에 길이에 객체의 기동 변화의 정보가 충분히 담겨 시퀀스 길이를 14로 설정하였다.

생성된 하나의 경로를 시퀀스 길이만큼 자르고, 3개의 시점을 건너뛰어 다시 시퀀스 길이만큼 데이터를 자르는 슬라이딩 윈도우 방식을 사용한다. 이를 모든 경로에 반복 적용하여 학습 데이터를 생성한다. 이렇게 생성된 데이터들 사이에는 겹치는 시퀀스가 존재하기 때문에, 전체 10,000개의 경로를 먼저 7:2:1의 비율로 훈련, 검증, 테스트 세트로 분할한 후 각 세트에 슬라이딩 윈도우 방식을 적용하여 데이터 누수를 방지하였다. 해당 과정은 그림 5에 나타내었다. 테스트 데이터는 이후 몬테카를로 시뮬레이션을 통해 모델의 성능 평가에 사용된다. 표 1은 모델별 훈련 및 검증 출력 데이터의 평균과 표준편차를 정리한 표이다. 필터링된 데이터는 최소한 측정치 노이즈로 인한 오차보다 작아야 하므로, 모델의 출력 분포는 측정치 노이즈의 표준편차인 3이내의 분포를 추정할 정도의 정밀도가 필요하다. 표준편차가 2.84, 2.86인 분포를 예측하는 오차 보상 모델은 표준편차가 210.66, 213.75인 분포를 예측하는 상태 추정 모델보다 더욱 정밀한 예측이 가능하다.

Fig. 5.

The process of generating learning data to prevent data leakage.

Table 1.

Mean and standard deviation of training output data by model.

LSTM은 순환 신경망의 한 종류로, 장기 의존성을 효과적으로 학습할 수 있는 모델이다. 과거의 정보를 장기간에 걸쳐 유지하거나 필요에 따라 업데이트할 수 있는 셀 상태라는 정보 흐름이 추가되었으며 입력, 삭제, 출력 게이트 구조를 도입하여 설계되었다. LSTM은 게이트에 사용되는 시그모이드 함수와 tanh 함수를 사용하여 비선형성을 도입하므로, 복잡한 비선형성을 처리할 수 있다. 본 연구에서는 비선형성을 효과적으로 처리할 수 있고, 시계열 데이터의 과거 정보를 바탕으로 현재 시점의 CVKF 오차를 예측하거나 상태를 추정할 수 있는 LSTM을 사용하는 것이 적합하다고 판단하였다. 그림 6은 본 논문에서 사용되는 오차 보상 LSTM 네트워크 구조도이다. Tensorflow 라이브러리를 사용하여 LSTM을 구현하였다. 첫 번째 LSTM 레이어에는 128개의 유닛을 사용하고 return sequences는 True로 설정하여 다음 LSTM 레이어로 시퀀스 데이터를 전달하였다. 이를 통해 다층 LSTM 구조를 형성하여 모델이 더 복잡한 패턴과 장기 의존성을 학습할 수 있게 한다. 두 번째 LSTM 레이어에는 32개의 유닛을 할당하여 모델의 복잡성을 조절하고, 과적합을 방지하였다. 두 번째 레이어는 return sequences를 False로 설정하여 시퀀스 마지막 시점의 출력만을 다음 레이어로 전달하였다. 출력 레이어인 Dense 레이어는 2개의 출력을 가지며 활성함수는 적용하지 않았다. 상태 추정 모델은 x, y 추정 위치($$ {\widehat{x}}_s,{\widehat{y}}_s$$) , 오차 보상 모델의 경우 CVKF 추정 x, y 위치의 오차($$ {\widehat{x}}_e,{\widehat{y}}_e$$)를 출력한다. 두 개의 LSTM 레이어에는 L2 정규화를 적용하였으며, 정규화 강도는 0.001로 설정하여 모델의 일반화 성능을 향상하고 과적합을 방지하였다. 또한, 첫 번째 LSTM 레이어 뒤에 드롭아웃 레이어를 추가하여 무작위로 선택된 10%의 유닛을 비활성화하여 과적합을 방지하였다. 최적화는 Adam 옵티마이저를 사용하였고, 학습률은 0.001로 설정하였다. 평균 제곱오차(MSE, Mean Squared Error)를 손실 함수로 사용하고 훈련 데이터에 이상치가 많은 경우 학습이 불안정해지는 문제가 있다. 본 논문에서는 시뮬레이션 기반 경로 데이터를 사용하여 훈련을 진행하기 때문에 이상치가 존재하지 않는다. 따라서 회귀 문제에 널리 사용되는 평균제곱오차를 손실 함수로 학습을 진행하였다.

Fig. 6.

Schematic of error compensation LSTM network structure.

NVIDIAGeForce RTX 3050 ti 그래픽 카드로 배치 사이즈(batch size) 3072로 학습을 진행하였다. 오차 보상 모델과 상태 추정 모델은 동일한 입력 데이터, 다른 출력 데이터로 학습된다. 그림 7은 오차 보상, 상태 추정 모델의 학습 곡선이다. 검증 손실을 기준으로 15회 이상 개선되지 않을 경우 학습을 조기 종료하도록 설정하여 과적합을 방지하였다. 오차 보상 모델의 경우 89 에포크(epoch)에서 훈련 손실 1.62, 검증 손실 1.74로 학습이 종료되었으며, 상태 추정 모델의 경우 335 에포크에서 훈련 손실 5.77, 검증 손실 4.93으로 학습이 종료되었다. 오차 보상 모델은 2.84, 2.86의 표준편차를 갖는 출력 분포를 학습하나, 상태 추정 모델은 210.66, 213.75의 표준편차를 갖는 출력 분포를 학습한다. 이에 초기 훈련 손실이 5.07, 42310으로 크게 차이 난다.

Fig. 7.

Error compensation, state estimation model learning curve.

1. EKF, IMMF 선정

본 논문에서 제안하는 오차 보상 모델의 성능을 평가하기 위해 EKF, IMMF를 비교 대상으로 선정하였다. EKF는 비선형 시스템의 상태 추정 문제에서 널리 사용되며, 선형화 과정을 통해 비선형 시스템을 근사하여 추정한다. 이는 물체의 동적 모델이 미리 알려진 경우 최적의 추정치를 제공하는 것으로 알려져 있다. 본 논문에서는 경로 생성에 사용된 운동 방정식을 기반으로 상태 천이 행렬을 식 (16)과 같이 선정하였다.

동적 시스템이 다양한 상태 변화 모델을 가질 수 있기 때문에 단일 시스템 모델 필터로 이를 효과적으로 처리하는데 한계가 있다. 반면 IMMF는 다양한 동적 시스템 모델을 동시에 고려하고, 각 모델의 가중치를 조절하여 최종 상태를 추정한다. 이는 모델의 불확실성이 높고, 객체의 운동 패턴이 빈번하게 변하는 상황에 유용하다. 따라서 참고문헌 [14, 15]를 바탕으로 등속도 모델(CV, Constant Velocity model), 등가속도 모델(CA, Constant Acceleration model), 등속선회율 모델(CT, Constant Turn rate model), 세 가지 동적 시스템 모델을 바탕으로 IMMF를 설계해 비교군으로 선정하였다. 각 필터에 사용된 상태변수와 시스템 모델 그리고 시스템 노이즈의 공분산을 식 (18) ~ (26)에 나타내었다. 𝜎_𝑄²는 10, 𝑑𝑡는 0.1로 모든 필터가 동일하고, 측정 노이즈의 공분산 또한 모든 필터가 식 (14)와 동일하다.

EKF:

CV Filter:

CA Filter:

CT Filter:

2. 시뮬레이션 결과 분석

89 에포크 동안 학습된 오차 보상 모델(CVKF + AI)과 335 에포크 동안 학습된 상태 추정 모델(State Estimation AI)의 성능 평가를 위해 테스트 경로 중 하나를 선택하여 시뮬레이션을 진행하였다. 그림 8은 무작위로 생성된 경로 중 급감속 상황이 없는 경우를, 그림 9는 급감속 상황이 포함된 경로를 나타낸다. 가시성을 높이기 위해 측정치는 제외하고 기준 경로를 기준으로 EKF, IMMF, 상태 추정 모델, 오차 보상 모델의 추정 경로를 D에 나타내었다. 기준 경로와 필터들이 추정한 경로 사이 유클리디안 거리 오차를 (A), (B), (C)에 나타내었으며, 표 2에는 위치 RMSE (Root Mean Square Error)를 정리하였다. 그림 8의 (1), (2) 구간은 직선 경로 이후 −0.148 𝑟𝑎𝑑/𝑠², 0.08 𝑟𝑎𝑑/𝑠²의 각가속도로 곡선 주로를 진행하는 구간이다. 구간 (1)에서 IMMF의 오차는 8까지 상승하지만, EKF와 오차 보상 모델은 오차를 6 이하로 유지한다. 상태 추정 모델은 곡선 주로 초반에는 추정 위치 오차를 5 이하로 유지하지만, 각속도가 큰 곡선 주로 후반에서 오차가 8 이상으로 증가한다. 구간 (2)는 낮은 각가속도와 짧은 조향 시간으로 인해 완만한 곡선 주로를 진행하여 모든 모델의 오차가 6 이하로 유지된다. 오차 보상 모델의 위치 RMSE는 1.39로 EKF: 1.77, IMMF: 1.90, 상태 추정 모델: 1.99와 비교했을 때 가장 낮은 값을 보인다. 그림 9의 구간 (1)은 곡선 주로에 진입하기 전 급감속하는 구간이다. 급감속으로 인해 구간 (1)에서 EKF 오차는 12 이상으로 크게 증가하고, IMMF의 오차는 6.9까지 상승한다. 상태 추정 모델의 오차는 6.4로 IMMF와 비슷한 성능을 보인다. 오차 보상 모델의 오차는 3.05로 급감속 상황에서 가장 안정적으로 위치를 추정함을 확인할 수 있다. 그림 9의 구간 (2)는 급감속 이후 다시 가속하여 곡선 구간을 주행하는 구간이다. EKF를 제외한 다른 모델의 경우 오차가 5.4 이하로 유지되나, EKF의 경우 오차가 8.65까지 상승한다. 구간 (2)의 특징인 급감속 이후 다시 가속하며 곡선 경로를 추정하는 데 EKF가 취약한 것을 확인할 수 있다. 그림 9의 구간 (3)은 −0.105 𝑟𝑎𝑑/𝑠²의 각가속도로 곡선 경로를 진행하고 직선 경로로 이어지는 구간이다. 그림 8의 구간 (2)와 그림 9의 구간 (3)을 보면 완만한 곡선 경로를 추정하는 상황에서 오차 보상 모델의 성능이 기존 필터와 비슷한 것을 확인할 수 있다. EKF와 IMMF의 추정 경로가 오차 보상 모델보다 우수한 구간도 일부 존재하지만, 경로 전체에 대한 위치 RMSE를 비교할 때 EKF - (1.77, 2.89), IMMF - (1.90, 1.83), 상태 추정 모델 - (1.99, 1.95) 그리고 오차 보상 모델 - (1.39, 1.50)로 나타나 논문에서 제안하는 오차 보상 모델이 가장 우수한 성능을 보였다.

Fig. 8.

Estimation results for a randomly generated path.

Fig. 9.

Estimation of random sudden deceleration path.

Table 2.

Estimation position RMSE results for each model.

위치를 추정하는 경우 외부 객체의 움직임이 한 방향으로 진행되어, 추정해야 할 위치의 범위가 넓어질 수 있다. 그림 10은 한 방향으로 진행된 경로의 각 모델의 추정한 경로이다. 구간 (1)을 보면 객체는 x 위치가 -400을 넘어 진행된다. -400은 출력 데이터 분포의 분위수 하위 2.31%에 위치하는 값으로 출력 분포의 꼬리 부분에 해당한다. 객체의 위치를 추정하는 상황에서 학습한 출력 분포의 꼬리 혹은 넘어가는 위치를 추정하는 상황이 생기게 되고 이때 상태 추정 모델의 추정 위치의 오차가 크게 증가한다. 반면에 오차 보상 모델의 경우 CVKF의 오차를 학습하고 예측하여 보상하기 때문에, 추정 위치의 범위가 넓은 상황에서도 안정적으로 동작함을 그림 10의 구간 (1)을 통해 확인할 수 있다.

Fig. 10.

Estimation results of each model along the trajectory in a single direction.

오차 보상 모델의 경우 89 에포크, 상태 추정 모델의 경우 335 에포크에서 학습이 종료되었다. 그림 11은 두 모델의 학습이 약 33% 진행된 30, 110 에포크에서 학습된 모델을 사용하여 그림 9의 경로를 추정한 결과이다. 그림 11의 (A)는 오차 보상 모델이 89 에포크와 30 에포크 동안 학습된 모델의 유클리디안 거리 오차를 나타내며, (B)는 상태 추정 모델이 335 에포크와 110 에포크 동안 학습된 모델의 유클리디안 거리 오차를 보여준다. (C)는 네 가지 모델이 추정한 경로를 기준 경로와 비교한 그림이다. 오차 보상 모델의 89 에포크 모델 RMSE는 1.46, 30 에포크 모델 RMSE는 1.64로 89 에포크 모델이 약 12% 더 성능이 우수하다. 반면, 상태 추정 모델의 335 에포크 모델 RMSE는 2.09, 110 에포크 모델 RMSE는 12.17로 5배 이상의 차이를 보인다. 그림 10의 상태 추정 335 에포크 모델은 추정 위치가 -400을 넘어가는 상황에서 오차가 크게 증가했지만, 그림 11의 구간 (1)에서 상태 추정 110 에포크 모델은 -230을 넘어가는 위치에서 오차가 크게 상승하였다. 상태 추정 모델은 학습이 진행될수록 출력 분포의 꼬리 부분을 학습하며, 출력 분포가 큰 상태 추정 모델은 출력 분포가 작은 오차 보상 모델에 비해 더 많은 에포크 수가 필요하게 된다.

Fig. 11.

Sudden deceleration path estimation results by model epoch.

3. 몬테카를로 시뮬레이션

몬테카를로 시뮬레이션을 통해 본 논문에서 제안하는 오차 보상 모델의 우수성을 검증하였다. 1000개의 테스트 경로를 바탕으로 RMSE 평균과 표준편차(std, standard deviation)를 표 3에 정리하였다. 오차 보상 모델은 EKF 대비 27.09%, IMMF 대비 4.70%의 성능 향상을 보였다. 또한 표준편차는 0.14로, EKF: 0.35, IMMF: 0.17, 상태 추정 모델: 0.50에 비해 낮은 값을 보여 다양한 조건에서도 안정적이고 일관된 성능을 유지함을 의미한다. 반면, 상태 추정 모델은 EKF 대비 6.50%, 그리고 IMMF 대비 39.12% 성능 저하를 보였다. 표준편차는 0.50로 나타났는데, 이는 그림 10의 학습된 출력 분포 범위를 넘어서는 위치를 추정하는 상황에서 오차가 크게 증가한 것으로 분석된다.

Table 3.

Test path RMSE mean and standard deviation results.

상태 추정 모델의 출력 분포를 넘어서는 출력으로 인해 추정 성능이 감소하는 경우를 제외하고 모델의 성능을 비교하기 위해, 테스트 경로 중 기준 경로의 범위가 학습 출력 분포의 표준편차인 -210~210 사이에 존재하는 100개를 바탕으로 평균 RMSE와 표준편차를 표 4에 나타내었다. 평균 RMSE는 1.97로 오차 보상 모델의 1.34 보다 크게 나타났으며, 표준편차 또한 0.34로 0.12에 비해 크게 나타나 오차 보상 모델의 경로 추정 성능 상태 추정 모델에 비해 뛰어남을 보여준다. 이는 출력 분포의 차이로 인해 정밀한 예측이 가능해져 추정 정확도의 차이가 발생한 것으로 분석된다.

Table 4.

Ground-truth path range-constrained path RMSE mean and standard deviation results.