무릎 관절각 시계열 정보 기반 LSTM을 이용한 단안 카메라 보행 관절각 추정 보정법

I. 서론

보행분석은 신경근골격계 질환의 진단, 재활 치료 효과 평가, 낙상 위험 예측 등 임상 및 연구 분야에서 핵심적인 도구로 활용되고 있다. 특히 하지 관절각은 보행 패턴을 정량적으로 평가하는 핵심 지표이며, 고관절과 족관절의 기구학 정보는 보행 장애 진단 및 치료 계획 수립에 중요한 데이터를 제공한다[1]. 고령화 사회가 가속화됨에 따라 낙상으로 인한 고관절 골절과 보행 장애가 급증하고 있으며, 이에 따라 조기에 발견하고 예방하기 위한 정밀한 보행분석의 필요성이 커지고 있다.

전통적으로 보행분석은 Vicon [2], Qualisys [3]와 같은 3차원 모션 캡처 시스템 기반 방식이 표준으로 자리 잡아왔다. 이 시스템들은 밀리미터 수준의 높은 정확도를 제공하지만, 장비 비용이 수억 원에 달하고 전용 공간과 숙련된 인력이 필요하다. 따라서 이러한 방식은 임상 환경에서의 적용이 제한적이며 실제로 많은 병원과 재활기관은 주관적 관찰에 의존하고 있다[4].

이러한 한계를 보완하기 위해 최근 연구에서는 웨어러블 센서와 AI 기반의 자동화된 보행분석에 주목하고 있다. 특히 딥러닝과 컴퓨터 비전 기술의 발전으로 단안(monocular) 카메라 기반 보행분석이 실질적인 대안으로 떠오르고 있다. OpenPose [5], MediaPipe [6], AlphaPose [7]와 같은 2D 자세 추정 기술과 HybrIK (Hybrid Analytical-Neural Inverse Kinematics) [8], SMPL (Skinned Multi-Person Linear Model) [9] 등의 3차원 인체 모델 복원 기법은 마커 없이도 관절 위치를 정밀하게 추정할 수 있게 되었다.

이러한 단안 카메라 방식은 웹캠이나 스마트폰만으로도 구현 가능하며, 공간 제약이나 마커 부착없이 일상복 상태에서 측정할 수 있어 임상 현장에서 활용성이 높다. 그러나 깊이 정보의 부재, 신체 일부 가림(occlusion), 의복에 의한 윤곽선 불명확성 등으로 인해 3차원 관절각 추정의 정확도는 여전히 제한적이다[10]. 또한 기존 대부분의 카메라 기반 방법은 각 관절을 독립적으로 추정하기 때문에, 관절 간 협응(joint coordination) 이나 시간적 일관성(temporal consistency)을 충분히 반영하지 못한다는 한계가 있다[11].

본 연구는 이러한 기술적·임상적 한계를 극복하기 위해 시간적 맥락과 관절 간 협응 관계를 반영한 단안 영상 기반 하지 관절각 보정 모델을 제안한다. 제안한 모델은 단안 카메라로부터 추정된 하지 관절 정보를 입력으로 받아 LSTM (Long Short-Term Memory) 네트워크를 통해 시계열적 일관성과 생체역학적 관계를 학습함으로써 관절각 추정의 정확도와 안정성을 향상시키는 것을 목표로 한다.

성능 검증은 최적화 알고리즘 [12] 중 하나인 uDEAS (univariate Dynamic Encoding Algorithm for Searches) [13]만을 이용하여 관절각을 추정한 모델과 본 논문에서 제안하는 uDEAS-LSTM 결합 모델을 비교하는 방식으로 수행하였다. 평가에는 10m 직선 보행과 트레드밀 보행에서 수집한 Vicon 기반 관절각 데이터를 기준(ground truth)으로 활용하였다.

II. 제안 시스템

1. 시스템 구조

제안된 시스템은 단안 카메라 영상을 입력으로 받아 하지 관절각을 정밀하게 추정하기 위해 그림 1과 같이 세 단계의 파이프라인으로 구성된다. 첫 번째 단계에서는 HybrIK를 이용하여 RGB 영상으로부터 3차원 인체 자세를 추정한다. HybrIK는 심층 신경망을 통해 추정된 시각적 단서를 해석적 역기구학과 결합함으로써, 3차원 관절 구조와 SMPL 기반 인체 메시(mesh)를 동시에 복원한다. 이러한 접근은 단순 회귀(regression) 기반 기법보다 높은 정확도와 형상 재현성을 입증하였다[8]. 두 번째 단계에서는 HybrIK가 추정한 3차원 키포인트를 DH (Denavit-Hartenberg) 표현법으로 구성한 휴머노이드 모델에 uDEAS 최적화 알고리즘을 적용하여 피팅(fitting)함으로써 관절각을 계산한다. uDEAS는 전역 탐색과 빠른 수렴으로 높은 연산 효율과 실시간성 면에서 장점을 갖는다[13]. 세 번째 단계에서는 이렇게 추정한 무릎 관절각 시퀀스로부터 LSTM 네트워크를 이용하여 시간적 일관성과 관절 간 협응을 반영한 고관절 및 족관절각을 추정한다.

Fig. 1.

Overall structure of the proposed system.

2. uDEAS 기반 관절각 계산

uDEAS는 각 실수형 변수를 이진 행렬로 인코딩하여 이분 탐색(bisectional search)과 단방향 탐색(unidirectional search)을 결합한 지역 탐색(local search)과 다중 시작 기법 (multistart) 기반 전역 탐색을 통해 최적해를 효율적으로 탐색하는 알고리즘이다[13]. 이 알고리즘은 비용 함수(cost function)의 민감도에 따라 변수 탐색 순서를 적응적으로 조정하여 탐색 효율성과 수렴 속도를 높였다.

본 연구에서는 HybrIK로부터 추정된 3차원 키포인트를 활용하여 각 관절의 회전각 파라미터 θ를 추정하였다. 이를 위해 식 (1)과 같이 정의된 비용 함수를 최소화하였다. 여기서 J는 전신 주요 관절 개수로 12이며, $$ p_j^{3D}$$는 HybrIK로부터 추정된 j번째 관절의 3차원 좌표, FK_j(θ)는 관절 파라미터 θ를 이용한 순기구학(forward kinematics)으로 계산한 j번째 관절의 3차원 좌표를 나타낸다. 이 비용 함수는 관찰된 관절 좌표와 모델 기반 순기구학으로 계산된 추정 좌표 사이의 평균 위치 오차(Mean Per Joint Position Error, MPJPE)를 의미한다. uDEAS는 이 오차를 전역적으로 최소화하도록 관절 각도 파라미터를 갱신함으로써, 모델 정합성과 관절 위치 정확도를 동시에 향상시킨다.

$\[ C(\theta )=\frac{1}{\left|J\right|}\sum _{j\in J} {‖p_j^{3D}-F{K}_j(\theta )‖}_2 \]$

(1)

본 연구에서 사용된 휴머노이드 모델은 DH 표현법으로 구성되며, 전신에 총 26 자유도(DoF)를 가진다[14]. 이는 시상면(sagittal plane), 관상면(coronal plane), 횡평면(transverse plane) 상에서의 관절 회전을 포함하고 상체의 독립적 움직임을 모사하기 위해 3 자유도의 요추(lumbar) 관절이 추가되었다.

uDEAS는 키포인트로부터 직접 기하학적으로 관절각을 산출하는 기존 방법보다 향상된 정확도를 보였다. 그러나 단안 영상의 특성상 관절별로 추정 정확도에 차이를 보인다. 추정 결과, 무릎 관절은 영상에서 명확하게 관찰되어 평균 절대 오차(mean absolute error, MAE) 7.02°로 비교적 높은 정확도를 나타냈다. 반면, 고관절은 깊이 모호성과 자가 폐색(self‑occlusion)의 영향으로 14° 이상의 MAE로 상대적으로 큰 오차를 나타냈다. 또한, 족관절 영역은 키포인트의 검출 빈도와 정확도가 낮고, 프레임 간 위치 흔들림이 발생하여 안정적인 좌표 추정이 불가능해 관절각 산출을 위한 최적화 변수에서 제외하였다. 그림 2는 대표적인 피험자의 전체 보행 주기 동안 Vicon 측정값(검정선)과 uDEAS 추정값(빨간선)으로 획득된 관절각 궤적을 비교한 결과를 나타낸다. 무릎 관절의 경우, 두 데이터가 전체 구간에서 높은 일치도를 보였으며, 특히 굴곡/신전의 피크 구간에서도 높은 추정 결과를 보인다. 반면, 고관절은 스윙기(swing phase) 후반부에서 일부 과소 추정되는 경향을 보였다.

Fig. 2.

Comparison of joint angle trajectories between Vicon and uDEAS.

이러한 관절별 정확도 차이와 보행 시 하지의 기구학적 특성을 고려하여, 본 연구에서는 무릎 관절을 중심으로 한 보행 분석 접근법을 제안한다. 선행 연구에 따르면 보행 시 하지 관절들은 기구학적 연쇄로 상호작용하며, 특히 무릎과 족관절은 시상면 움직임에서 높은 기구학적 결합(coupling motion)을 보인다[15]. 따라서 본 연구에서는 상대적으로 높은 추정 신뢰도를 확보한 무릎 관절각을 입력 변수로 활용하여 LSTM 네트워크를 통해 시계열 패턴과 관절 간 협응 관계를 학습함으로써 고관절과 족관절의 예측 정확도를 향상시키는 추정 기법을 새롭게 제안한다.

3. 관절 협응 기반 LSTM 모델

LSTM은 순환신경망(recurrent neural network, RNN)의 한 형태로, 시계열 데이터 내 장기 의존성(long-term dependency)을 효과적으로 학습할 수 있어 보행과 같은 주기적 운동 데이터 분석에 적합하다. 본 연구에서 설계한 LSTM 모델은 과거의 무릎 관절각 시퀀스를 입력으로 활용하여 현재 시점에서의 고관절과 족관절의 움직임을 예측하도록 구성되었다. 이를 통해 시간적 맥락 정보를 반영하면서도 실시간 보정이 가능한 구조를 구현하였다.

제안된 모델인 그림 3의 LSTM 네트워크는 시퀀스 입력과 피험자 속성 입력의 이중 입력 구조(dual-input architecture)로 구성된다. 첫 번째 입력으로는 과거 30프레임의 수집된 양측 무릎의 시상면 관절각 시퀀스 $$ x_{t-29:t, sag }^{lkn},x_{t-29:t, sag }^{rkn}$$로 약 1초에 해당하는 이 길이는 일반적인 보행 주기(1~2초)의 핵심 구간을 충분히 포착할 수 있는 길이이다. 두 번째 입력은 성별, 신장, 체중으로 구성된 피험자 속성 벡터이다. 두 입력 경로에서 추출된 특징들은 결합(concatenate)된 후, 출력층을 거쳐 양측 고관절의 시상면 및 관상면 각도$$ \left(y_{t, sag }^{lhp},{ y}_{t, sag }^{rhp},{ y}_{t, cor }^{lhp}, { y}_{t, cor }^{rhp}\right)$$와 양측 족관절의 시상면 각도$$ \left(y_{t, sag }^{lan },{ y}_{t, sag }^{ran }\right)$$를 포함한 6차원 출력 벡터를 출력한다. 이 구조는 관절 변동성의 시간적 특성과 개인별 신체 특성을 함께 반영하여 일반화된 하지 운동 패턴 학습과 실시간 추정을 가능하게 한다.

Fig. 3.

Input and output structure of the LSTM model.

III. 실험 방법

1. 데이터 수집 및 전처리

본 연구에는 총 11명(남성 7명, 여성 4명)의 피험자가 참여하였다(표 1). 피험자의 평균 연령은 62.3±13.8세였으며, 연령대별 보행 패턴의 다양성을 확보하기 위해 18세에서 64세의 성인 4명과 65세 이상의 노인 7명을 포함하였다. 모든 피험자는 하지에 질환이 없고 보행 보조기구 없이 독립 보행이 가능하였다. 측정은 모든 피험자로부터 서면 동의를 받은 후 수행되었다.

Table 1.

Participant characteristics.

본 연구에서는 8대의 적외선 카메라를 갖춘 Vicon 시스템(100Hz)과 39개의 Plug-in Gait 마커셋을 사용하여 3차원 기구학 데이터를 수집하였다. 단안 카메라(1280×720, 30Hz)는 피험자 후방 2.3m에 설치하여 보행 영상을 동시에 촬영하였다. 모든 피험자는 보조기구를 사용하지 않았으며, Vicon 모션 캡처 환경에서 전신 마커를 부착한 상태로 실험을 수행하였다. 수집된 Vicon 기반 관절각을 기준(ground truth)으로 설정하고, 이를 단안 카메라 기반 추정 결과와 비교하여 제안된 모델의 정확도를 평가하였다.

실험 절차는 10m 직선 보행과 60초 트레드밀 보행으로 구성하였다. 자가 선호 속도를 기준으로 80%, 100%, 120%의 세 가지 속도 조건을 설정하였다. 직선 보행에서는 메트로놈을 통해 보행 주기를 제시하고, 트레드밀 보행에서는 벨트 속도를 직접 조정하였다. 각 속도 조건은 직선 보행에서 2회, 트레드밀 보행에서 1회씩 수행하여 피험자당 총 9회의 측정을 진행하였다.

보행 주파수 대역 이외의 고주파 잡음을 제거하기 위해 수집된 Vicon 데이터에 차단 주파수 6Hz의 4차 Butterworth 저역 통과 필터를 적용하였다. 필터링된 데이터는 단안 카메라 프레임과의 시간 동기화를 위해 100Hz에서 30Hz로 다운샘플링(downsampling)하였다.

2. 모델 학습 및 평가

수집된 데이터는 피험자 단위로 분리하여 전체 11명 중 9명의 데이터를 모델 학습 및 검증에 사용하고, 2명은 테스트 세트로 구성하였다. 이는 피험자 독립적 평가를 통해 모델의 일반화 성능을 보다 객관적으로 검증하기 위함이다. 훈련 데이터는 각 피험자의 시퀀스 순서를 유지하며 8:2 비율로 나눈 후 훈련용과 검증용으로 다시 결합하여, 특정 피험자의 데이터 특성이 과도하게 반영되는 것을 방지하였다. 또한 관절각 궤적 시퀀스별로 하나의 데이터만을 사용하여 다른 측정 회차의 데이터가 섞이지 않도록 구성함으로써 각 데이터의 시계열 특성을 유지하였다.

모델은 500개 유닛의 LSTM 은닉층과 선형 활성화의 출력층으로 구성된다. 손실 함수로는 평균제곱오차(mean squared error, MSE)를 사용하였으며, 최적화는 학습률 0.001의 Adam을 적용하였다. 학습은 배치 크기 32, 최대 200 epoch의 조건으로 진행하였으며, 검증 손실이 10 epoch 연속 개선되지 않을 경우 조기 종료하도록 설정하였다. 실제 학습은 약 50 epoch에서 조기 종료되었고, 이 시점에서 코사인 유사도(cosine similarity)가 0.97 이상의 높은 값을 보였다.

평가지표로는 RMSE, MAE, 코사인 유사도와 같은 지표를 활용하여 수행하였다. 그림 4는 학습 과정에서의 손실 함수 및 성능 지표 변화를 나타낸다. 모든 지표에서 초기 10 epoch 내 급격한 손실 감소 이후 안정적으로 수렴하였으며, 코사인 유사도는 0.95 이상으로 수렴하여 예측 결과의 시계열적 일관성과 관절 움직임의 위상 정합성이 확보되었음을 확인하였다.

Fig. 4.

Training and validation performance curves of the LSTM model.

IV. 실험 결과

제안된 LSTM 기반 보정 모델의 성능을 검증하기 위해 uDEAS 단독 모델과 제안 모델(uDEAS + LSTM)의 추정 결과를 Vicon 기반 3차원 관절각 데이터(ground truth)와 비교하였다. 평가 지표로는 평균 절대 오차(MAE)와 평균제곱근오차(RMSE)를 사용하였다.

표 2는 각 하지 관절에 대한 정량적 비교 결과를 제시한다. 모든 관절에 대해 제안 모델은 uDEAS 대비 MAE 및 RMSE를 감소시켰다. 전체 평균 기준, MAE는 11.2±6.6°(uDEAS)에서 6.3±2.3°(제안 모델)로 41.1% 감소하였으며, RMSE 역시 13.7±8.0°에서 7.7±3.1°로 41.6% 개선되었다. 이러한 결과는 제안 모델이 무릎 관절의 시계열 정보를 효과적으로 활용함으로써, 관절 간 협응 관계를 학습하고 연결된 다른 관절의 움직임을 더욱 정확하게 예측할 수 있음을 보여준다. 결과적으로 제안 모델은 기존 uDEAS보다 고관절의 시상면과 관상면 각도의 추정 오차를 현저히 감소시켰을 뿐만 아니라, uDEAS만으로는 신뢰성 있게 추정할 수 없는 족관절과 같은 부위에서도 의미 있는 예측 결과를 도출할 수 있었다.

Table 2.

Comparison of joint angle estimation accuracy by model.(Sag: sagittal plane, Cor: coronal plane, L: left, R: right)

그림 5와 그림 6은 각각 테스트 데이터셋에서 추출한 10m 직선 보행과 트레드밀 보행(60초 중 10초 구간)의 관절각 추정 결과를 보여준다. 검정색은 Vicon 기준값, 빨간색은 uDEAS 단독 추정, 파란색은 제안된 LSTM 기반 보정 모델의 결과이다. 고관절의 관상면, 시상면의 관절각 궤적을 보면 제안된 모델이 uDEAS 단독 추정 모델보다 전체적으로 Vicon 측정값과 유사한 형태를 보이는 것을 알 수 있다. 족관절은 발의 랜드마크 좌표만으로는 계산할 수 없어서 uDEAS만으로는 추정할 수 없었으나, 제안한 방법으로 유사한 궤적을 추정할 수 있었다.

Fig. 5.

Joint angle estimation during 10m overground walking.

Fig. 6.

Joint angle estimation during treadmill walking.

V. 결론

본 연구에서는 단안 카메라 기반 보행분석의 정확도 향상을 목적으로 LSTM 네트워크를 활용한 관절각 보정 방법을 제안하였다. 제안한 방법은 HybrIK와 uDEAS를 통해 추정된 무릎 관절각의 연속적 시계열 정보를 입력받아 하지 관절 간 기구학적 협응 관계를 학습함으로써 고관절 및 족관절의 추정 정확도를 크게 개선하였다.

실험 결과, 제안 모델은 기존 uDEAS 단독 모델 대비 평균 절대 오차(MAE)를 11.2°에서 6.3°로 41.1% 감소시켰고, 평균 제곱근오차(RMSE) 또한 13.7°에서 7.7°로 41.6% 개선하였다. 특히, 족관절의 경우 uDEAS만으로는 신뢰성 있는 추정이 어려웠으나, 제안 모델은 좌우 족관절 모두에서 의미 있는 예측 성능을 확보했다. 이는 단일 관절의 시계열 패턴이 타 관절의 움직임을 추정하는 데 효과적으로 활용될 수 있음을 의미하며, 실제 보행 특성을 정밀하게 반영함을 보인다. 또한 10m 직선 보행과 트레드밀 보행 두 가지 환경 모두 성능 향상을 보여 다양한 보행 조건에 대한 강건성을 입증하였다.

이를 통해 제안 모델은 고가의 복잡한 장비 없이도, 단일 영상 기반에서 임상적 신뢰성과 실효성을 갖춘 보행 관절각 분석이 가능함을 보였다. 또한, 단순한 LSTM 구조로 실용적 처리 속도를 확보해 실제 현장 응용 가능성을 동시에 제시하였다. 향후 연구에서는 계단 보행, 방향 전환 및 병적 보행 등 보다 다양한 보행 패턴에 대한 적용 및 평가를 진행할 계획이며, 상체 관절을 포함한 전신 보행분석으로 확장하는 연구도 병행할 예정이다. 아울러 본 연구 결과는 재활의학, 스포츠과학, 노인 낙상 예방 등 다양한 분야에서 저비용·고효율 보행 평가 도구로 활용될 수 있을 것으로 기대한다.

Acknowledgments

본 논문은 대한민국 정부(산업통상자원부 및 방위사업청) 재원으로 민군협력진흥원에서 수행하는 민군기술협력사업(24-SF-AI-01)의 연구비 지원으로 수행됨.

REFERENCES

• V. Bonnet, V. Joukov, D. Kulic, P. Fraisse, N. Ramdani, and G. Venture, “Monitoring of hip and knee joint angles using a single inertial measurement unit during lower limb rehabilitation,” IEEE Sensors Journal, vol. 16, no. 6, pp. 1557-1564, Mar. 2016. [https://doi.org/10.1109/JSEN.2015.2503765]
• Vicon, https://www.vicon.com/, .
• Qualisys, https://www.qualisys.com/, .
• A. A. Hulleck, D. Menoth Mohan, N. Abdallah, M. El Rich, and K. Khalaf, “Present and future of gait assessment in clinical practice: Towards the application of novel trends and technologies,” Frontiers in Medical Technology, vol. 4, p. 901331, Dec. 2022. [https://doi.org/10.3389/fmedt.2022.901331]
• Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, “Realtime multi-person 2D pose estimation using part affinity fields,” Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, 2017, pp. 7291-7299. [https://doi.org/10.1109/CVPR.2017.802]
• C. Lugaresi, J. Tang, H. Nash, C. McClanahan, E. Uboweja, M. Hays, F. Zhang, C.-L. Chang, M.G. Yong, J. Lee, W.-T. Chang, W. Hua, M. Georg, and M. Grundmann, “MediaPipe: A framework for building perception pipelines,” arXiv preprint arXiv:1906.08172, , 2019.
• H.-S. Fang, J. Li, H. Tang, C. Xu, H. Zhu, Y. Xiu, Y.-L. Li, and C. Lu, “AlphaPose: Whole-body regional multi-person pose estimation and tracking in real-time,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 3, pp. 1698-1713, Mar. 2022. [https://doi.org/10.1109/TPAMI.2022.3222784]
• X. Li, S. Wang, Y. Liang, L. Ma, and W. Wang, “HybrIK: A hybrid analytical-neural inverse kinematics solution for 3D human pose and shape estimation,” Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2021, pp. 3388-3398. [https://doi.org/10.1109/CVPR46437.2021.00346]
• M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “SMPL: A skinned multi-person linear model,” ACM Trans. Graph., vol. 34, no. 6, pp. 248:1–248:16, Oct. 2015. [https://doi.org/10.1145/3596711.3596800]
• A. Sepas-Moghaddam and A. Etemad, “Deep gait recognition: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 1, pp. 264-284, 1 Jan. 2023. [https://doi.org/10.1109/TPAMI.2022.3151865]
• S.-H. Jeong, E. Ha, and J.-W. Kim, “Error correction method using LSTM for lower limb joint angle estimation in camera-based gait analysis,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 31, no. 3, pp. 181-186, March 2025. [https://doi.org/10.5302/J.ICROS.2025.24.0286]
• M. Kim and S. Kim, “Optimization methods for non-linear least squares,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 30, no. 7, pp. 723-729, July 2024. [https://doi.org/10.5302/J.ICROS.2024.24.0134]
• J.-W. Kim and S. W. Kim, “A fast computational optimization method: Univariate dynamic encoding algorithm for searches,” IEICE Trans. Fundamentals Electron. Commun. Comput. Sci, vol. E90-A, no. 8, pp. 1679, 2007. [https://doi.org/10.1093/ietfec/e90-a.8.1679]
• J.-Y. Choi, E. Ha, M. Son, J.-H. Jeon, and J.-W. Kim, “Human joint angle estimation using deep learning-based three-dimensional human pose estimation for application in a real environment,” Sensors, vol. 24, p. 3823, 2024. [https://doi.org/10.3390/s24123823]
• J. W. Kwon, S. M. Son, and N. K. Lee, “Changes of kinematic parameters of lower extremities with gait speed: a 3D motion analysis study,” J. Phys. Ther. Sci., vol. 27, no. 2, pp. 477-479, 2015. [https://doi.org/10.1589/jpts.27.477]