Institute of Control, Robotics and Systems
[ Article ]
Journal of Institute of Control, Robotics and Systems - Vol. 32, No. 2, pp.141-149
ISSN: 1976-5622 (Print) 2233-4335 (Online)
Print publication date 01 Feb 2026
Received 10 Nov 2025 Revised 30 Nov 2025 Accepted 07 Jan 2026
DOI: https://doi.org/10.5302/J.ICROS.2026.25.0298

실시간 운동 자세 및 근력 피드백 시스템: 자세 추적 모델, ArUco 마커, EMG 센서 통합

허수명1 ; 이민수2 ; 오주현1 ; 모준호1 ; 조용운1 ; 태기식1 ; 오도창1, *
건양대학교 의공학과 학부생 runtime0417@gmail.com
연세대학교 의생명시스템정보학과 대학원생 minsulee@minsulee.com
건양대학교 의공학과 학부생 ohju0623@naver.com
건양대학교 의공학과 학부생 ahwnsgh8921@naver.com
건양대학교 의공학과 대학원생 22856502@konyang.ac.kr
건양대학교 의공학과 교수 tae@konyang.ac.kr
건양대학교 의공학과 교수 docoh@konyang.ac.kr
Real-time Exercise Posture and Muscle Strength Feedback System: Integrating Pose Tracking Model, ArUco Marker, and EMG Sensor
Su-Myeong Hur1 ; Min-Su Lee2 ; Ju-Hyun Oh1 ; Jun-Ho Mo1 ; Yong-Un Jo1 ; Ki-Sik Tae1 ; Do-Chang Oh1, *
1Department of Biomedical Engineering, Konyang University
2Department of Biomedical Systems Informatics, Yonsei University College of Medicine
1Department of Biomedical Engineering, Konyang University
1Department of Biomedical Engineering, Konyang University
1Department of Biomedical Engineering, Konyang University
1Department of Biomedical Engineering, Konyang University
1Department of Biomedical Engineering, Konyang University

Correspondence to: *Corresponding Author

Copyright© ICROS 2026

Abstract

Improper posture during exercise can lead to injuries, and the use of visual feedback has been demonstrated to positively affect exercise efficacy and injury prevention. Individuals who exercise independently often follow instructional videos for guidance. To improve exercise effectiveness and minimize the risk of injury, we propose a system that provides real-time visual feedback. This system utilizes MediaPipe for movement estimation and incorporates ArUco markers to compensate for occlusions caused by exercise equipment. Furthermore, electromyography (EMG) is employed to assess whether the appropriate muscles are being activated. In instances where correct posture and muscle activation are not achieved, the system prevents further progress in the exercise repetitions and notifies the user of a failure to meet the required conditions. The experimental results demonstrated that the proposed compensation algorithm reduced the mean absolute error of posture estimation from 9.010° to 2.270°, a reduction of approximately 74.8%. Consequently, the exercise success rate significantly improved from 62.7% to 87.3%, confirming that the system is effective in enhancing exercise performance while preventing injuries.

Keywords:

ArUco markers, electromyography, exercise, feedback, MediaPipe, pose estimation, real-time systems

I. 서론

COVID-19 팬데믹 이후 개인 건강과 운동에 대한 관심이 크게 증가하며, 연령에 관계없이 많은 사람이 운동을 일상화하고 있다[1]. 동시에, 가속화되는 고령화 사회는 근감소증(sarcopenia) 및 관절 기능 장애와 같은 건강 문제에 대한 관심을 높였으며, 이는 신체 기능 유지를 위한 신체 활동의 중요성을 부각시킨다[2]. 하지만 적절한 자세와 기술 없이 운동을 수행하면 건강상의 이점보다는 부상을 초래할 수 있다. 특히, 반복적인 부적절한 자세는 근육 불균형과 과도한 관절 스트레스를 유발하여 장기적인 건강 문제로 이어질 수 있다[3]. 이에 따라, 사용자가 올바른 운동 자세를 유지하고 부상을 예방할 수 있도록 돕는 피드백 시스템에 대한 요구가 증가하고 있다.

선행 연구에 따르면 운동 중 시각적 피드백은 올바른 자세를 유지하고 운동 효과를 높이는 데 긍정적인 영향을 미치는 것으로 나타났다[4, 5]. 하지만 홈 트레이닝 환경에서 사용자는 일반적으로 지도 영상을 따라 하기 때문에, 자신의 움직임을 실시간으로 관찰하기 어렵다. 마찬가지로, 피트니스 센터에서 전문적인 지도 없이 운동하는 개인들도 운동 루틴이나 기구를 추천하는 애플리케이션에 의존하는 경우가 많다[6]. 그럼에도 불구하고, 실시간 자세 평가 및 피드백 시스템은 여전히 보편적이지 않다.

현재의 운동 보조 시스템은 주로 카메라 기반 기술에 의존하여 자세를 분석하고 피드백을 제공한다. 그러나 이러한 시스템에는 몇 가지 한계점이 존재한다. 첫째, 신체 일부가 가려지는 경우 인식 정확도가 감소하여 정밀한 동작 분석이 어렵다[7]. 둘째, 이 시스템들은 주로 자세 평가에 중점을 두어, 사용자가 목표 근육을 효과적으로 사용하고 있는지 평가하는 기능이 부족하다[8]. 이러한 한계로 인해 기존 시스템은 신뢰할 수 있고 포괄적인 피드백을 제공하는 데 어려움을 겪는다.

이러한 문제점을 해결하기 위해, 본 연구는 근전도(Electromyography, EMG), ArUco 마커, 그리고 MediaPipe를 통합한 새로운 운동 분석 시스템을 제안한다. 여기서 ArUco 마커는 위치 및 자세 식별용 패턴을 활용한 OpenCV의 오픈소스 라이브러리이고, MediaPipe는 실시간으로 멀티모달 데이터 처리와 추론을 수행하는 Google의 오픈소스 프레임워크이다. 제안하는 시스템은 근전도(EMG, Electromyography) 신호를 활용하여 근육 활성도를 평가할 수 있으며, 이는 단순한 자세 분석을 넘어 운동의 질을 더욱 포괄적으로 평가할 수 있게 한다. 또한, ArUco 마커와 MediaPipe의 결합은 신체 일부가 가려지는 경우 정확도가 하락하는 문제를 보완하여 인식 정확도를 향상시키고, 더 신뢰할 수 있는 동작 추적을 보장한다[9].

기존 연구들에서도 광학 마커와 EMG를 운동 분석에 활용한 사례가 있다[10]. 그러나 이러한 시스템은 실시간 피드백을 제공하지 않거나 고가의 장비를 필요로 한다는 한계가 있었다. 최근에는 웹캠 수준의 카메라를 사용하여 자세를 평가하고 피드백을 제공하는 시스템이 개발되었으나, 피트니스 기구를 사용할 경우 여전히 폐색 문제로 인해 정확한 동작 추적이 어렵다[11,12]. MediaPipe 기반 운동 분석 시스템은 주로 관절 각도 변화를 측정하며, 가려지는 상황에서 관절 추정 정확도가 저하되는 한계를 가진다[7]. 본 연구에서는 ArUco 마커를 활용하여 운동시 가림 상황에서의 자세 추정 정확도를 개선함과 동시에, EMG 센서를 통합하여 관절 각도와 근수축도를 함께 분석하여 피드백함으로써 보다 안전하고 효과적인 운동 분석이 가능하다는 점에서 기존 연구와 차별성을 갖는다.

이러한 기술들의 통합은 시스템의 연산 부하를 다소 증가시키고, 사용자가 운동 기구에 부수적으로 마커를 부착해야 하는 단점이 있다. 한편, 본 논문에서는 정확한 관절각도를 추정하고, 최대 수의적 근수축(maximum voluntary contraction, MVC) 평가를 통합하여 운동 중 근육의 적절한 사용 여부를 평가한다[13]. 이처럼 본 논문의 근육운동 실험결과를 볼 때 정확도 높고 효과적인 운동 자세 평가 및 피드백 시스템은 부상 위험을 줄이고 올바른 근육 발달을 촉진하여, 궁극적으로 사용자에게 더 효과적이고 안전한 운동 경험을 제공한다.


II. 관련 연구

1. 운동 자세 보조 시스템에 대한 최신 연구

표 1에서 볼 수 있듯이, 대다수의 연구가 MediaPipe 및 OpenCV와 같은 카메라 기반 자세 추정 프레임워크를 핵심 기술로 활용한다. 이러한 기술들은 실시간 요가 자세 교정, 로잉 머신 동작 분석, 파워 리프팅 운동 보조 등 다양한 범위의 운동에 적용되어 왔다. 언급된 시스템 대부분이 카메라 데이터에만 의존하는 반면, 일부 연구에서는 EMG나 물리적 마커와 같은 추가 센서를 통합하여 동작을 분석하는 멀티모달 접근 방식을 채택한다.

Summary of recent studies.

운동 자세 보조 프로그램과 관련된 기존 연구들을 검토해 보면, 대부분의 접근 방식이 인간 자세 추정을 위해 주로 컴퓨터 비전 기술을 활용한다는 것을 알 수 있다. 이러한 연구들은 단일 컴퓨터 비전 기술을 이용하는 그룹과 여러 컴퓨터 비전 기술을 통합하는 그룹으로 크게 분류할 수 있다[8, 11, 14, 15, 16, 17, 18, 20]. 더 나아가, 특정 연구들은 정확도를 향상시키기 위해 컴퓨터 비전 기반 자세 추정과 함께 EMG 분석을 통합하기도 했다[10]. EMG는 주로 전문가들에 의해 근육 활동을 분석하기 위한 정량적 도구로 활용되어 왔다.

하지만 컴퓨터 비전, EMG, 그리고 마커 기반 기술이 동시에 통합된 사례는 극히 드물다. 그럼에도 불구하고, 자세와 근력이 중요한 다양한 운동을 분석하기 위해 이러한 융합 기술에 대한 연구는 더욱 확대될 가능성이 높다[10, 19, 21, 22, 23]. 이러한 맥락에서, 본 연구는 더 높은 정밀도와 신뢰성을 달성하기 위해 이 세 가지 기술을 통합한 새로운 운동 자세 보조 시스템을 제안한다.

2. 선행 연구의 한계점

기존의 운동 자세 분석 및 추적 시스템이 상당한 기술적 진전을 이루었음에도 불구하고, 실제 환경에 적용될 때는 여전히 몇 가지 한계점이 존재한다. 예를 들어, 신체 일부가 가려지면 정확한 자세 추정이 어려워진다[12]. 또한, 서로 다른 운동 자세 간의 유사성은 분류 정확도를 감소시킬 수 있으며, 훈련 데이터의 제한된 양과 다양성은 모델 성능에 부정적인 영향을 미친다[14]. 일부 시스템은 알고리즘 최적화가 불충분하여 격렬한 운동(고중량 웨이트 트레이닝 또는 달리기 등)을 인식하지 못하거나 여러 사용자를 동시에 추적하지 못하는 경우도 있다[17, 20].

일부 연구가 수축 근육의 길이에 따라 구분되는 신장성 수축(eccentric contraction)과 단축성 수축(concentric contraction)을 성공적으로 구분해내기도 했지만, 이러한 시스템들은 근육의 개입이나 직접적인 활성화 패턴을 평가하는 데는 미치지 못하여 운동 수행에 대한 상세한 분석을 수행하는 데는 여전히 한계가 있다[8,24]. 이러한 문제점들에 대응하여, 본 연구는 컴퓨터 비전, ArUco 마커, 그리고 EMG라는 세 가지 기술을 통합하여 새롭고 더 정밀한 운동 자세 보조 시스템을 제안한다.


III. 기술적 배경

1. 근전도 센서(EMG:Electromyography)

EMG는 근육에서 발생하는 생체 전기 신호(근전도 신호)를 측정하는 기술로, 운동 뉴런(motor neurons)이 근육을 자극하여 수축 시 활동 전위(action potential)를 생성할 때 표면 전극 또는 침습형 전극을 통해 기록된다. 이러한 EMG 신호는 근육 활동을 정량적으로 평가하기 위한 중요한 바이오 마커 역할을 한다. EMG는 재활 의학, 신경계 장애 진단, 로봇 및 의수/의족 제어와 같은 분야에서 널리 사용된다. 최근에는 그 응용 분야가 스포츠 과학, 인간-컴퓨터 상호작용(HCI, Human-Computer Interaction) 등으로 확대되고 있다[25].

2. 실시간 멀티모달 데이터처리 및 추출 도구(MediaPipe)

MediaPipe는 구글(Google)이 개발한 프레임워크로, 인공지능(AI) 및 머신 러닝(ML, Machine Learning) 기술의 적용을 기반으로 한다. 주요 기능에는 객체 감지, 얼굴 랜드마크 감지 및 분할(face landmark detection and segmentation), 자세 랜드마크 분할(pose landmark segmentation)이 포함된다. 표 2에 나타난 바와 같이, MediaPipe는 lite, full, heavy의 세 가지 구성으로 사전 훈련된(pre-trained) 모델을 제공한다.

MediaPipe pose landmark models.

3. 위치 및 자세 식별용 패턴 생성 도구(ArUco Marker)

ArUco 마커는 피두셜 마커(fiducial markers) 중 하나로, 증강현실(AR), 로봇 공학(robotics), 드론 착륙 및 카메라 보정(camera calibration)을 포함한 컴퓨터 비전 분야에서 광범위하게 활용된다[26]. ArUco 마커는 정사각형의 내부 이진 패턴(inner binary patterns)으로 구성되며, 이 패턴 자체가 고유한 ID(unique ID)를 나타낸다. 또한 마커의 크기는 내부 매트릭스(inner matrix)의 크기를 결정하고, 검은색 테두리는 신속한 감지를 가능하게 한다[27].

ArUco 마커를 감지하기 위해서는 다음과 같은 단계가 필요하다. 첫째, 이미지에 임계처리(thresholding)를 적용하여 RGB 이미지를 그레이 스케일로 변환한다. 둘째, 윤곽선을 추출하고 볼록하지 않은 형태와 정사각형이 아닌 형태는 제거한다. 셋째, 추출된 정사각형 이미지가 실제 ArUco 마커인지 확인한다. 넷째, 마커 이미지를 흑백 비트로 분리한다. 마지막으로, 이 비트들을 ArUco 라이브러리의 딕셔너리(dictionary)와 대조한다[27].


IV. 시스템 제안

1. 세 가지 기술의 통합

운동 모니터링에 있어서는 두 가지 주요한 문제점이 대두되며 이를 해결하고자 한다. 첫째, MediaPipe 기반 자세 추정의 오류이다. 특히 운동 중에는 운동 기구가 빈번하게 신체의 일부분을 가리는 현상을 유발하여 자세 추정 정확도를 저해한다. 둘째, 기존 연구들은 주로 운동 후 분석에 중점을 두어, 실시간으로 자세와 근육 사용량을 동시에 모니터링하고 피드백하여 운동의 안전성과 효과성을 높이는 기능이 필요하다는 점이다.

이러한 문제들을 해결하기 위해 본 시스템은 MediaPipe, ArUco 마커, EMG 센서를 통합한다. 우선 자세 추정 오류 문제를 해결하기 위해, 기구에 ArUco 마커를 부착하여 마커 기반 위치 추적을 통해 오류를 보정한다. 일반적인 영상처리 방법으로 운동의 정확한 자세와 함께 제조사마다 형태와 규격이 상이한 운동기구의 특징점을 정의하기가 쉽지 않고, 특히 운동 중 기구가 회전할 경우 안정적인 추적이 어렵다. 또한 이러한 경우 방대한 학습 데이터와 높은 연산 자원을 요구하므로, 운동 중 실시간 피드백 성능을 저하시키게 된다. 반면 ArUco 마커는 기구의 종류나 형상에 관계없이 동일한 검출 알고리즘을 적용할 수 있어, 별도의 재학습이나 추가 모델 설계 없이도 다양한 운동 기구에 범용적으로 활용 가능하다. 더불어 적은 연산 부하로 마커의 중심 좌표를 정밀하게 추출할 수 있어, 시스템의 처리 속도를 유지하면서 신뢰할 수 있는 보정 좌표를 제공한다는 장점을 가진다. 한편 조명 반사나 급격한 움직임으로 인한 오인식을 방지하기 위해, 제안된 시스템은 ArUco 마커의 데이터를 상시 사용하는 것이 아니라, MediaPipe 관절 추정 신뢰도가 특정값 미만인 구간에서만 ‘선택적 좌표 치환’을 실행한다. 일반적으로 MediaPipe는 어깨-팔꿈치-손목 벡터 간 사이각으로 팔의 움직임을 측정하나, 기구에 의한 가림 발생 시 손목 랜드마크의 추적 신뢰도가 저하되는 한계가 있다. 이에 본 시스템은 손목 신뢰도가 임계값 이하일 경우, 불안정한 손목 좌표를 덤벨에 부착된 ArUco 마커의 중심 좌표로 실시간 대체한다. 이후 시스템은 ‘어깨-팔꿈치-ArUco 마커’로 재구성된 벡터 연산을 수행하여, 가림 상황에서도 정밀한 관절 각도를 산출한다.

또한 제안된 시스템에서 ArUco 마커 기반의 운동 자세 각도와 EMG 센서 기반의 근활성도 데이터를 통합 분석하여 사용자에게 즉각적인 피드백을 제공한다.

2. MVC를 이용한 EMG 개인화

EMG는 표면 근전도(sEMG, Surface EMG) 방식을 통해 사용자의 목표 근육 수축 정도를 정량적으로 측정하고 전송하는 센싱 장치이다. 이는 근육 사용량을 실시간으로 모니터링하고 분석함으로써, 사용자가 특정 근육을 정확하게 활성화하고 있는지 판단하는 데 사용된다[28]. 하지만, EMG 신호의 절대적인 크기는 신체 조건, 피부 특성, 전극 부착 위치 등의 차이로 인해 개인 간 편차가 매우 크다. 이러한 가변성은 절대값 기반 해석의 유용성을 제한한다. 이를 해결하기 위해, 제안하는 시스템에서는 각 사용자의 최대 수의적 근수축을 기반으로 EMG 데이터를 정규화(normalizes)하는 MVC 개념을 도입한다. MVC는 개인차를 보정하여 EMG 신호의 비례적 해석을 가능하게 하며, 이는 더 객관적이고 일관된 근육 사용 평가를 용이하게 한다. 결과적으로, 이는 개인화된 제어 시스템 구현에 기여하고 피드백 정확도를 향상시킨다[29].

3. 시스템의 통합 동작 흐름 및 분석

제안하는 시스템은 사용자의 운동 동작을 실시간으로 분석하고 평가하기 위해 그림 1과 같은 통합된 흐름을 따른다. 먼저, 사용자가 운동을 시작하면 카메라는 사용자의 움직임과 기구에 부착된 ArUco 마커를 동시에 촬영하며, 목표 근육군에 부착된 EMG 센서가 실시간으로 근육 활성화 신호를 수집한다. 수집된 영상에서 MediaPipe는 실시간으로 사용자의 관절 좌표를 추정하고 신뢰도 점수를 반환한다. 시스템은 이 신뢰도 점수를 모니터링하여 운동 기구 등에 의한 신체 가림을 감지하며, 가림이 발생하면 ArUco 마커의 위치 데이터를 활용해 부정확한 관절 좌표를 보정하여 중단 없는 정확한 자세 데이터를 확보한다. 즉, MediaPipe의 신뢰도 점수가 0.9 미만으로 떨어질 때, 가려진 키포인트 좌표를 ArUco 마커 위치에서 파생된 좌표로 대체하여 시각적 정보의 손실을 효과적으로 보상한다.

Fig. 1.

Overview of proposed system.

동시에, 수집된 원본 EMG 신호는 사용자의 고유한 신체적 특성을 반영하기 위해 사전에 측정된 MVC값을 기반으로 정규화(%MVC)되어, 개인차가 보정된 객관적인 근육 사용량 데이터로 변환된다. 최종적으로, 시스템은 관절 각도나 운동 범위와 같이 확보된 정확한 자세 데이터와 객관적인 근활성도 데이터를 통합 분석한다. 이 분석 결과를 바탕으로, 사용자가 정확한 자세로 목표 근육을 효과적으로 사용하고 있는지를 실시간으로 판단하여 즉각적인 피드백을 제공함으로써 부상을 예방하고 운동 효과를 극대화한다.


V. 시스템 실험 과정과 평가

본 연구의 실험 및 평가는 기존 운동 보조 시스템들이 갖는 기술적 한계를 단계적으로 극복하고, 제안하는 통합 시스템의 우수성을 입증하는 데 중점을 두었다. 선행 연구들에 따르면, 부상 예방과 운동 효과 극대화를 위해서는 관절의 정확한 가동 범위(Angle)와 목표 근육의 적절한 부하(Force)가 동시에 모니터링되어야 한다[3,4].

그러나 기존의 단일 비전 기반 연구들은 운동 기구에 의한 신체 가림(Occlusion) 발생 시 추적 정확도가 현저히 저하된다는 구조적 한계를 가지며[7,12], 외형적인 자세 정보만으로는 사용자의 실질적인 근육 활성도를 평가할 수 없다는 문제점이 제기되어 왔다[8].

이에 기존 방법론과의 비교 우위를 검증하기 위해 두 단계의 실험을 구성하였다. 첫째, 기존 비전 기술(MediaPipe)의 취약점인 가림 상황에서의 자세 추정 오차를 ArUco 마커가 얼마나 효과적으로 보정하는지 정량적으로 비교 분석한다. 둘째, 자세 정보와 EMG 기반의 근활성도 정보가 결합된 통합 피드백이 기존의 자세 위주 피드백 대비 사용자의 운동 성공률을 얼마나 향상시키는지 평가한다.

1. ArUco 마커를 이용한 각도 추정 보정 실험

MediaPipe와 같은 컴퓨터 비전 기반 자세 추정 기술은 신체 일부가 운동 기구에 의해 가려질 때 관절 랜드마크를 정확하게 식별하는 데 어려움을 겪는다. 그림 2의 녹색선과 같이, 덤벨이 손목 관절을 가릴 때 MediaPipe로 추정된 랜드마크는 불안정해지거나 실제 관절 위치에서 벗어날 수 있다. 이러한 랜드마크 감지의 부정확성은 각도 추정 오류의 직접적인 원인이 된다. 본 실험은 이 특정 문제를 해결하기 위해 그림 2의 분홍색선과 같이 ArUco 마커를 사용하여 오류를 보정하는 제안 기법의 유효성을 검증하고자 설계되었다.

Fig. 2.

Demonstration of error correction using an ArUco marker for occlusion in MediaPipe.

이를 위해, 우리는 MediaPipe 기반 각도 추정의 정확도를 정량적으로 비교 분석하고자 ArUco 마커를 사용한 실험 조건과 마커를 사용하지 않은 대조 조건을 설정하였다.

그림 3과 같이, 두 대의 노트북 카메라를 서로 마주 보게 하여 실험 환경을 구성하였으며, 이는 참가자의 팔꿈치 굴곡(flexion) 및 신전(extension) 동작을 양측에서 동시에 촬영하기 위함이다. 한쪽은 가려지지 않은 기준면(reference side) 역할을 하였고, 반대쪽은 실험을 위한 가려진 면(obscured side)으로 지정되어, 동일 시점의 동작을 직접 비교할 수 있도록 하였다. 참가자의 뒤편에는 흰색 벽을 배치하여 시각적 방해 요소를 최소화하고 일관된 배경을 유지하였다.

Fig. 3.

Front and top views of the experimental setup.

참가자들은 이두근 컬(biceps curl)과 유사한 팔꿈치 굴곡 동작을 수행하도록 지시받았다. ArUco 마커가 부착된 덤벨 모형을 사용하는 조건에서는, 그림 4와 같이 팔의 한쪽에 의도적으로 가림을 생성하였다. 이후 개발된 시스템은 ArUco 마커를 가려진 관절 위치의 보조 지표로 활용하여 각도를 추정하였다. 반대로, ArUco 마커가 없는 동일한 덤벨 모형을 사용하는 조건에서는 일반적인 가림 상황을 재현하였으며, 각도 추정은 MediaPipe 알고리즘만으로 수행되었다.

Fig. 4.

Experimental setup for evaluating angle estimation (a) Under occlusion with ArUco marker (b) Under occlusion without ArUco marker.

각 조건에서, 참가자가 동작을 수행하는 동안 가려진 면과 기준 면 모두에서 팔꿈치 각도 데이터가 동시에 기록되었다. 비교 분석을 위해 동작 중 무작위 간격으로 총 20개의 데이터 포인트를 수집하였다. 이 과정을 통해 ArUco 마커가 각도 추정 정확도 향상에 미치는 영향을 평가할 수 있었다.

2. ArUco 마커와 EMG의 실시간 시각적 피드백 유용성 실험

ArUco 마커 기반 각도 추정의 신뢰성을 확인한 후, 우리는 다음으로 시스템의 실시간 시각적 피드백 유용성을 평가하고자 하였다. 본 실험을 위해 20대 남녀 참가자 총 11명을 모집하였다. 이들의 근력 운동 경험은 1개월에서 18개월 사이였으며, 주간 훈련 빈도는 주 0회에서 6회까지 다양했다. 초보자와 정기적으로 훈련하는 사람들을 모두 포함하는 이 다양한 그룹은, 본 실험이 특정 숙련도 수준에 편향되지 않고 일반 사용자 집단을 대표할 수 있도록 보장하였다.

근육 활성도를 측정하기 위해, 그림 6과 같이 운동 목표 근육인 상완이두근(biceps brachii)에 표면 근전도(sEMG) 전극을 부착하였다. 이후 참가자들은 두 가지 조건 하에서 EZ 컬 바(EZ curl bar)를 사용하여 이두근 컬 동작을 반복적으로 수행하였다. 첫 번째 조건은 어떠한 시각적 피드백도 없는 상태이며, 다른 하나는 시스템이 제공하는 실시간 팔꿈치 각도(R-ARM Angle) 및 수행 횟수(Count), EMG 데이터(%MVC, My EMG TH), 그리고 카메라 화면을 모니터링하는 조건이다.

Fig. 5.

sEMG electrode placement on the biceps brachii.

Fig. 6.

An example of experimental condition with real-time visual feedback.

여기서 MY EMG TH는 각 사용자별 최대 수의적 근수축(MVC)을 기반으로 하는 사용자 맞춤형 임계값이다. 피드백 시스템이 작동하기 전 사용자의 MVC를 먼저 측정한 뒤, 이를 기준으로 현재 근활성도가 특정 %MVC 수준에 도달했는지 판단하는 데 사용된다. 이때, 임계값(TH)으로 설정할 %MVC 값은 측정자에 의해 결정된다.

운동 수행 정확도를 정량적으로 평가하기 위해, 성공적인 1회 수행의 기준을 다음과 같이 정의하였다. 충분한 수축을 나타내기 위해 팔꿈치 각도가 60도 미만에 도달해야 하며, EMG 신호는 MVC의 70%를 초과해야 한다[30].

그림 7과 같이 두 조건이 동시에 충족되었을 때(붉은색 음영 영역) 이를 성공적인 1회 수행으로 자동 집계하였다. 각 조건별 10회 수행 중 이러한 성공 횟수를 기록하였으며, 그림에 제시된 예시는 10회 중 6회의 성공을 나타낸다. 최종적으로 피드백이 있는 조건과 없는 조건 간의 성공률을 비교함으로써, 본 시스템의 시각적 피드백이 사용자의 운동 정확도와 자세 교정에 실질적으로 기여하는 정도를 평가하였다.

Fig. 7.

The process of automatic repetition counting based on angle and MVC data.


VI. 실험 결과

개발된 시스템의 기술적 정확성과 실용적 유용성을 검증하기 위해 두 가지 실험을 수행하였다. 첫 번째 실험은 ArUco 마커를 이용한 각도 추정 보정 기능의 정확성을 평가하였고, 두 번째 실험은 시스템의 핵심 기능인 실시간 시각적 피드백이 사용자 운동 수행에 미치는 영향을 분석하였다. 모든 통계 분석의 유의미한 수준은 p < 0.05로 설정하였다.

1. ArUco 마커를 이용한 각도 추정 보정 검증

신체의 일부가 운동 기구에 의해 가려지면, MediaPipe와 같은 비전 기반 자세 추정 기술은 관절 랜드마크를 인식하는 데 어려움을 겪는다. 그림 2에서 볼 수 있듯이, 덤벨이 팔꿈치 관절을 가릴 때 MediaPipe에 의해 추정된 랜드마크는 실제 관절 위치에서 벗어나 불안정해질 수 있다. 이러한 랜드마크의 부정확성은 최종 각도 추정 오류의 직접적인 원인이 된다. 본 실험은 이러한 상황에서 ArUco 마커를 이용한 보정 기법의 유효성을 검증하기 위해 설계되었다.

그림 8은 ArUco 마커 사용 유무에 따른 각도 추정 오차의 분포를 시각적으로 나타내고 있고, 표 3은 각 20회의 측정에서 기준각에 대한 ArUco 보정값과 MediaPipe 단독 측정값을 나타낸다. 한편 표 4는 이 실험 결과 평균 절대 오차와 표준편차를 보이고 있다. 이를 분석한 결과, ArUco 마커를 보정에 사용한 실험 조건(조건 1)의 평균 절대 오차는 2.270°( SD = 2.603°)였다. 이와 대조적으로, MediaPipe 알고리즘만 사용한 대조 조건(조건 2)의 평균 절대 오차는 9.010°( SD = 9.474°)로 측정되었다. 두 조건 간의 평균 절대 오차 차이에 대한 대응표본 t-검정(paired-samples t-test) 결과, 통계적으로 유의미한 차이가 확인되었다 (t = -4.113, p = 0.0006). 이는 관절에 가려짐이 발생할 시 ArUco 마커를 보조 지표로 활용하는 본 시스템의 보정 기법이 MediaPipe 단독 사용의 불안정성을 효과적으로 보상하고 각도 추정의 정확성을 상당히 향상시킨다는 것을 입증한다.

Fig. 8.

Result of the angle estimation accuracy test.

Result of angle estimation accuracy test (raw data).

Mean Absolute Error (MAE) and standard deviation of angle estimation accuracy results.

2. ArUco 마커 및 EMG를 이용한 시각적 피드백 유용성 평가

각도 추정 기술의 신뢰성을 확인한 후, 기존의 자세 중심 평가를 넘어 근활성도 정보를 통합한 시스템의 실시간 시각적 피드백에 대한 유용성을 평가하였다. 표 5에 나타난 바와 같이 총 11명의 참가자가 이두근 컬 동작을 수행하였으며, 피드백이 있는 경우(Feedback)와 없는 경우(Normal)의 성공률을 각각 측정하였다. 반복 성공의 기준은 팔꿈치 각도(60° 미만)와 EMG 신호(MVC의 70% 초과)에 대해 미리 정의된 임계값을 동시에 충족하는 것으로 간주하였다.

Comparison of biceps curl exercise success rate according to the application of the proposed system.

이 기준에 따라 분석한 결과, 그림 9를 보면, 피드백이 없는 조건에서 참가자들은 평균 62.7%(SD = 25.3%)의 성공률을 보였다. 그러나 실시간 시각적 피드백이 제공되는 조건에서는 평균 성공률이 87.3%(SD = 11.0%)로 크게 증가하였다. 성공률 차이에 대한 대응표본 t-검정 결과, 이러한 향상은 통계적으로 유의미한 것으로 나타났다(t = -4.368, p = 0.0014). 이는 시스템이 제공하는 실시간 시각적 피드백이 초보자부터 숙련자에 이르기까지 광범위한 사용자들의 운동 정확도와 자세 교정을 향상시키는 데 상당히 기여한다는 것을 시사한다.

Fig. 9.

Comparison of exercise success rates with and without real-time visual feedback.

이를 종합하여 기존 운동 보조 기술과 제안 시스템의 특성을 비교하면 표 6와 같다. 기존의 비전 기반 시스템은 기구에 의한 가림 발생 시 추적 정확도가 낮아지는 한계가 있으며, 이는 표 4의 실험결과에서도 확인되었다. 또한, 자세 추정에만 의존하는 방식은 근육 활성도를 파악할 수 없어 운동의 질적 평가가 불가능하다[8]. 반면, 제안하는 시스템은 ArUco 마커를 통해 가림 상황에서의 자세 정확도를 확보하고, EMG 통합을 통해 실질적인 근육 사용 모니터링을 구현함으로써 기존 기술들의 안전성 및 기능적 한계를 효과적으로 보완하였음을 알 수 있다.

Comparison of characteristics between the proposed system and existing exercise assistance Systems.


VII. 고찰

최근 근골격계 부상의 위험을 감소시키기 위한 연구가 활발하다. 재활의학 분야에서는 재활 과정 중 추가적인 부상을 예방하기 위해 환자의 상태를 정확히 평가하고, 필요한 범위 내에서 운동을 제한하는 것이 필수적이다. 따라서 사용자의 움직임을 추적하고, 시각적으로 확인하기 어려운 근육 활성도 정보를 실시간으로 분석 및 피드백하는 시스템을 개발하였다. 이를 통해 운동 수행 중 발생할 수 있는 자세 오류를 즉각적으로 교정하고, 올바른 근육 사용을 유도함으로써 부상 예방에 기여할 수 있는 기반을 마련하였다.

제안한 시스템은 ArUco 마커를 활용한 보정 알고리즘을 적용하여 MediaPipe 단독 사용 대비 자세 인식의 평균 절대 오차를 9.010°에서 2.270°로 약 74.8% 감소시켰다. 이러한 오차 감소는 MediaPipe의 추정 방식이 가지는 구조적 한계를 ArUco 마커가 효과적으로 보완하기 때문이다. MediaPipe는 딥러닝 기반의 자세 추정을 위해 3D 인체 모델을 활용한 합성 데이터와 증강(augmentation) 기법을 통해 학습한다. 즉 영상의 일부를 가려 학습함으로써, 실제 영상에서 다른 사물에 가려진 랜드마크를 추론 기반 보간(inference-based interpolation)을 통해 유추하게 된다. 반면 ArUco 마커는 기구에 고정된 절대 좌표계를 제공하여 MediaPipe의 추론 기반 보간 값을 실제 기하학적 위치로 대체하며, 그 결과 평균 절대 오차가 감소하였다. 또한 오차발생이 불규칙한 MediaPipe의 추론 기반 보간에 비해 비교적 작은 분산을 보여줌으로써 표준 편차도 감소하였다.

또한, 실시간 시각적 피드백이 제공된 조건에서 사용자의 운동 성공률은 62.7%에서 87.3%로 유의미하게 향상되었다. 이러한 결과로부터 EMG 신호를 병행 활용함으로써 자세뿐만 아니라 근육 활성도까지 동시에 고려한 실시간 피드백의 효과를 실험적으로 검증하였다. 이는 시각적 피드백이 운동 정확도 향상과 부상 예방에 모두 기여할 수 있다는 근거를 제공한다.

그러나 몇 가지 제한점도 존재한다. 첫째, MediaPipe, ArUco 마커, EMG 신호를 동시에 처리해야 하는 특성상 높은 연산 능력이 요구되어 모바일 환경에서의 적용 가능성이 제한될 수 있다. 둘째, MediaPipe는 사전 학습된 AI 기반 프레임워크로서, 사용자의 개별 특성이나 운동 환경에 따른 맞춤형 최적화가 어려운 한계가 있다. 셋째, 본 연구는 상완이두근 단일 근육 및 이를 주동근으로 하는 특정 운동(biceps curl)에 한정하여 적용되었다. 실제 운동 수행 시에는 다수의 근육이 복합적으로 작용하는 경우가 많으므로, 향후 스쿼트(squat)나 벤치 프레스(bench press)와 같은 다관절 복합 운동을 평가하기 위해서는 다중 EMG를 활용한 다근육 분석으로의 확장 연구가 요구된다. 또한 EMG 전극 부착 위치에 따른 데이터 변동성을 충분히 고려하지 못하였으며, 운동 유형별 최적 전극 부착 위치의 표준화가 필요함을 확인하였다.


VIII. 결론 및 향후 연구

본 연구에서는 ArUco 마커와 MediaPipe를 통합하여 운동기구로 인한 신체 가림을 성공적으로 극복하는 실시간 운동 피드백 시스템을 개발하였다. 이 하이브리드 접근 방식은 상당한 기술적, 실용적 효과성을 입증하였다. 이는 가림 상황에서의 평균 절대 오차를 9.010°에서 2.270°로 감소시켰으며, 사용자 연구에서는 운동 성공률을 62.7%에서 87.3%로 향상시켰다. 이러한 결과는 본 시스템이 모든 수준의 사용자의 운동 정확도를 향상시키는 강력하고 매우 효과적인 도구임을 확인시켜 준다.

향후 연구는 처리 지연을 최소화하기 위해 계산 효율성을 최적화하는 데 중점을 둘 것이다. 또한, 다양한 운동 라이브러리 구축, 다중 EMG 신호 통합 분석, 그리고 근수축도에 기반한 실시간 운동 강도 조절이 가능한 동적 피드백 메커니즘을 도입하여, 보다 적응력 있고 사용자 특화된 훈련 가이드를 제공하는 개인화 기능을 통합할 것이다. 이러한 개선을 통해 본 시스템은 개인의 신체적 특성과 훈련 환경을 반영한 맞춤형 운동 보조 인공지능(AI 코치)으로 발전할 수 있으며, 궁극적으로 안전하고 효율적인 운동 및 재활을 지원하는 차세대 헬스케어 플랫폼으로서의 잠재력을 갖는다.

Acknowledgments

본 연구는 2025년도 교육부 및 대전광역시의 재원으로 대전RISE센터의 지원을 받아 수행된 지역혁신중심 대학지원체계(RISE)의 결과입니다.(2025-RISE-06-001).

이 논문은 2025년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2021R1I1A304391111).

REFERENCES

  • S. Hernández-Jaña, D. Escobar-Gómez, C. Cristi-Montero, J. Castro-Piñero, and F. Rodríguez-Rodríguez, “Changes in active behaviours, physical activity, sedentary time, and physical fitness in chilean parents during the COVID-19 pandemic: A retrospective study,” International Journal of Environmental Research and Public Health, vol. 19, no. 3, p. 1846, Feb. 2022. [https://doi.org/10.3390/ijerph19031846]
  • Y. Shen et al., “Exercise for sarcopenia in older people: A systematic review and network meta-analysis,” Journal of Cachexia, Sarcopenia and Muscle, vol. 14, no. 3, pp. 1199–1211, Jun. 2023. [https://doi.org/10.1002/jcsm.13225]
  • B.-S. Park and J.-H. Kim, “An analysis on sports injuries and prevention of weight training participants,” Korean Journal of Sports Science, vol. 17, no. 3, pp. 767–776, Aug. 2008.
  • S.-S. Hwang, J.-H. Lee, and Y.-J. Choi, “The Effects of Visual Feedback Self Exercise on Postural Control in Stroke Patients,” Journal of The Korean Society of Physical Medicine, vol. 12, no. 4, pp. 105–112, 2017. [https://doi.org/10.13066/kspm.2017.12.4.105]
  • H. J. Kim and J. F. Kramer, “Effectiveness of visual feedback during isokinetic exercise,” Journal of Orthopaedic & Sports Physical Therapy, vol. 26, no. 6, pp. 318–323, Dec. 1997. [https://doi.org/10.2519/jospt.1997.26.6.318]
  • S. Chen, Y. Wu, E. L. Bushey, and L. S. Pescatello, “Evaluation of exercise mobile applications for adults with cardiovascular disease risk factors,” Journal of Cardiovascular Development and Disease, vol. 10, no. 12, p. 477, Nov. 2023. [https://doi.org/10.3390/jcdd10120477]
  • L. Wade, L. Needham, P. McGuigan, and J. Bilzon, “Applications and limitations of current markerless motion capture methods for clinical gait biomechanics,” PeerJ, vol. 10, p. e12995, Feb. 2022. [https://doi.org/10.7717/peerj.12995]
  • Y.-M. Ko, A. Nasridinov, and S.-H. Park, “Real-time ai posture correction for powerlifting exercises using YOLOv5 and MediaPipe,” IEEE Access, vol. 12, pp. 195830–195853, 2024. [https://doi.org/10.1109/ACCESS.2024.3516723]
  • T. Li and T. Dong, “Monocular camera-based online sensor-to-segment calibration for upper body pose estimation,” Sensors and Actuators A: Physical, vol. 364, p. 114829, Dec. 2023. [https://doi.org/10.1016/j.sna.2023.114829]
  • M. Skublewska-Paszkowska et al., “Motion capture as a modern technology for analysing ergometer rowing,” Advances in Science and Technology Research Journal, vol. 10, no. 29, pp. 132–140, 2016. [https://doi.org/10.12913/22998624/61941]
  • Y. Kwon and D. Kim, “Real-time workout posture correction using OpenCV and MediaPipe,” The Journal of Korean Institute of Information Technology, vol. 20, no. 1, pp. 199–208, 2022. [https://doi.org/10.14801/jkiit.2022.20.1.199]
  • M. H. Khan, M. Zoller, M. S. Farid, and M. Grzegorzek, “Marker-based movement analysis of human body parts in therapeutic procedure,” Sensors (Basel), vol. 20, no. 11, p. 3312, Jun. 2020. [https://doi.org/10.3390/s20113312]
  • J. R. Edwards, M. A. Edwards, A. J. Buttery, and N. D. Eves, “An evidence based guide to the efficacy and safety of isometric resistance training in hypertension and clinical implications,” Current Hypertension Reports, vol. 19, no. 4, p. 38, Apr. 2017. [https://doi.org/10.1007/s11906-017-0738-5]
  • K. Jantachat, P. Bua-Ngam, P. Boonsit, and W. Boonkwang, “Development of an exercise posture monitoring system for air cadets by using mediapipe and OpenCV,” Proc. of the 2024 21st International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON), pp. 1–4, May 2024. [https://doi.org/10.1109/ECTI-CON60892.2024.10594989]
  • J. Vijaya, A. Singh, K. Singh, and A. Kumar, “AI-enabled real-time exercise monitoring with MediaPipe and OpenCV,” Proc. of the 2024 15th International Conference on Computing Communication and Networking Technologies (ICCCNT), pp. 1–5, Jun. 2024. [https://doi.org/10.1109/ICCCNT61001.2024.10724252]
  • K. S. Sim, A. Low, A. P. Yunus, and C. P. Lim, “Real-time digital assistance for exercise: exercise tracking system with MediaPipe angle directive rules,” JOIV: International Journal on Informatics Visualization, vol. 8, no. 4, pp. 2380–2387, 2024. [https://doi.org/10.62527/joiv.8.4.2993]
  • T. Maitray, U. Singh, V. Kukreja, A. Patel, and V. Sharma, “Exercise posture rectifier and tracker using MediaPipe and OpenCV,” Proc. of the 2023 5th International Conference on Advances in Computing, Communication Control and Networking (ICAC3N), pp. 141–147, Feb. 2023. [https://doi.org/10.1109/ICAC3N60023.2023.10541703]
  • W. Supanich, S. Kulkarineetham, P. Sukphokha, and P. Wisarnsart, “Machine learning-based exercise posture recognition system using MediaPipe pose estimation framework,” Proc. of the 2023 9th International Conference on Advanced Computing and Communication Systems (ICACCS), vol. 1, pp. 2003–2007, Mar. 2023. [https://doi.org/10.1109/ICACCS57279.2023.10112726]
  • I. B. Park, “A comparison analysis of EMG on arm and trunk muscle between elastic and inelastic bar during the overhead press exercise,” Korean Journal of Sport Biomechanics, vol. 32, no. 4, pp. 128–133, 2022. [https://doi.org/10.5103/KJSB.2022.32.4.128]
  • A. Chaudhari, O. Dalvi, O. Ramade, and D. Ambawade, “Yog-Guru: Real-time yoga pose correction system using deep learning methods,” Proc. of the 2021 International Conference on Communication information and Computing Technology (ICCICT), pp. 1–6, Jun. 2021. [https://doi.org/10.1109/ICCICT50803.2021.9509937]
  • S.-H. Liu, C.-B. Lin, Y. Chen, W. Chen, T.-S. Huang, and C.-Y. Hsu, “An EMG patch for the real-time monitoring of muscle-fatigue conditions during exercise,” Sensors, vol. 19, no. 14, p. 3108, Jul. 2019. [https://doi.org/10.3390/s19143108]
  • S. K. Lim, “An electromyographic analysis of muscle activation in the latissimus dorsi, pectoralis major, deltoid, trapezius, and biceps brachii muscles according to the type of lat pull down exercise,” The Asian Journal of Kinesiology, vol. 19, no. 1, pp. 55–62, Jan. 2017. [https://doi.org/10.15758/jkak.2017.19.1.55]
  • D. Kim, S. Beack, K. Joo, S. Paek, B. Kim, and S. Kwon, “The evaluation of the Sitting posture using EMG frequency analy0sis,” Proceedings of the KIEE Conference, pp. 2175–2176, Jul. 2006.
  • Y. S. Kim, S. M. Ha, J. K. No, S. Hwang, and W. Kim, “Development of a terrain-specific modified gait index using the anybody modeling system,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 31. no. 8, 900-905, 2025. [https://doi.org/10.5302/J.ICROS.2025.25.011]
  • H. Türker and H. Sze, “Surface electromyography in sports and exercise,” Electrodiagnosis in new frontiers of clinical research, vol. 2013, pp. 175–194, May 2013. [https://doi.org/10.5772/56167]
  • S. Garrido-Jurado, R. Muñoz-Salinas, F. J. Madrid-Cuevas, and M. J. Marín-Jiménez, “Automatic generation and detection of highly reliable fiducial markers under occlusion,” Pattern Recognition, vol. 47, no. 6, pp. 2280–2292, Jun. 2014. [https://doi.org/10.1016/j.patcog.2014.01.005]
  • S. A. Shuja, “Real-time tracking and distance measurement of opencv aruco marker using webcam,” International Journal of Latest Technology in Engineering Management & Applied Science, vol. 14, no. 1, pp. 313–321, 2025. [https://doi.org/10.51583/ijltemas.2025.1401034]
  • W. P. Ebben, C. R. Feldmann, A. Dayne, D. Mitsche, P. Alexander, and K. J. Knetzger, “Muscle activation during lower body resistance training,” International Journal of Sports Medicine, vol. 30, pp. 1–8, Oct. 2008. [https://doi.org/10.55/s-2008-1038785]
  • A. S. Pinheiro De Sousa, and J. M. R. S. Tavares, “Surface electromyographic amplitude normalization methods: A review,” Nova Science Publishers, Sept. 2012.
  • Y. Chen et al., “Forearm rotation and elbow angle differentially modulate biceps brachii and brachioradialis muscle stiffness and EMG activity during low-load isometric contractions: A cross-sectional study in healthy individuals,” BMC Sports Science, Medicine and Rehabilitation, vol. 17, no. 1, p. 174, Jul. 2025. [https://doi.org/10.1186/s13102-025-01226-y]
허 수 명

2019년~현재 건양대학교 의공학부 학사과정 재학 중. 관심분야는 절단 환자를 위한 대체 신체 기술, 생체 신호 처리, 로보틱스.

이 민 수

2025년 건양대학교 의공학부 졸업. 2025년~현재 연세대학교 대학원 의생명시스템정보학과 석사과정 재학 중. 관심분야는 의료 인공지능, 의료 데이터 과학, 디지털 헬스케어.

오 주 현

2020년~현재 건양대학교 의공학부 학사과정 재학 중. 관심분야는 EMG 및 기타 센서 신호를 이용한 멀티 모달 인간 동작 예측, 재활 공학, 인간-컴퓨터 상호작용 (HCI).

모 준 호

2020년~현재 건양대학교 의공학부 학사과정 재학 중. 관심분야는 다양한 기술과 센서를 이용한 맞춤형 재활, 집속 초음파 응용.

조 용 운

2019년 건양대학교 의공학부(공학사). 2022년 건양대학교 의공학과(공학석사). 2022년~현재 건양대학교 대학원 의공학과 박사과정 재학 중. 관심분야는 재활 로봇, 의료 공학 딥러닝 응용, 생체 신호 처리.

태 기 식

2006년 연세대학교 의공학협동과정(의공학박사). 2019년 미국 Northwestern University Visiting Professor. 2007년~현재 건양대학교 의공학과 교수. 관심분야는 정형생체역학, 동작분석, 로봇재활훈련 기기, 장애인 기능회복 및 복원 기술, 스마트헬스케어 응용.

오 도 창

1991년 경북대학교 전자공학과(공학사). 1993년 경북대학교 전자공학과(공학석사). 1997년 경북대학교 전자공학과(공학박사). 2007년 미국 플로리다 주립대 Courtesy Professor. 1997년~현재 건양대학교 의공학과 교수. 관심분야는 견실 제어, 모델 축소, 재활 로봇, 딥러닝의 의공학 응용.

Fig. 1.

Fig. 1.
Overview of proposed system.

Fig. 2.

Fig. 2.
Demonstration of error correction using an ArUco marker for occlusion in MediaPipe.

Fig. 3.

Fig. 3.
Front and top views of the experimental setup.

Fig. 4.

Fig. 4.
Experimental setup for evaluating angle estimation (a) Under occlusion with ArUco marker (b) Under occlusion without ArUco marker.

Fig. 5.

Fig. 5.
sEMG electrode placement on the biceps brachii.

Fig. 6.

Fig. 6.
An example of experimental condition with real-time visual feedback.

Fig. 7.

Fig. 7.
The process of automatic repetition counting based on angle and MVC data.

Fig. 8.

Fig. 8.
Result of the angle estimation accuracy test.

Fig. 9.

Fig. 9.
Comparison of exercise success rates with and without real-time visual feedback.

Table 1.

Summary of recent studies.

Studies Year Technology Ref.
Development of an Exercise Posture Monitoring System for Air Cadets by Using MediaPipe and OpenCV 2024 MediaPipe, OpenCV [14]
AI-Enabled Real-Time Exercise Monitoring with MediaPipe and OpenCV 2024 MediaPipe, OpenCV [15]
Real-Time AI Posture Correction for Powerlifting Exercises Using YOLOv5 and MediaPipe 2024 MediaPipe, YOLOv5, OpenCV [8]
Real-Time Digital Assistance for Exercise: Exercise Tracking System with MediaPipe Angle Directive Rules 2024 MediaPipe [16]
Exercise posture rectifier and tracker using MediaPipe and OpenCV 2023 MediaPipe, OpenCV [17]
Machine Learning-Based Exercise Posture Recognition System Using MediaPipe Pose Estimation Framework 2023 MediaPipe [18]
Real-Time Workout Posture Correction using OpenCV and MediaPipe 2022 MediaPipe, OpenCV [11]
A Comparison Analysis of EMG on Arm and Trunk Muscle Between Elastic and Inelastic Bar During The Overhead Press Exercise 2022 EMG [19]
YOG-GURU: Real-Time Yoga Pose Correction System Using Deep Learning Methods 2021 OpenCV [20]
Marker-Based Movement Analysis of Human Body Parts in Therapeutic Procedure 2020 Camera, Marker [12]
An EMG patch for the real-time monitoring of muscle-fatigue conditions during exercise 2019 EMG [21]
An Electromyographic Analysis of Muscle Activation in the Latissimus Dorsi, Pectoralis Major, Deltoid, Trapezius, and Biceps Brachii Muscles According to the Type of Lat Pull Down Exercise 2017 EMG [22]
Motion capture as a modern technology for analysing ergometer rowing 2016 Vicon system, EMG [10]
The evaluation of the Sitting posture using EMG frequency analysis 2006 EMG [23]

Table 2.

MediaPipe pose landmark models.

Model SIZE (MB) Data type Applications
Pose landmarker (lite) 3 Float 16 ~49 FPS via TFLite GPU on a Pixel 3
Pose landmarker (Full) 6 Float 16 ~40 FPS via TFLite GPU on a Pixel 3
Pose landmarker (Heavy) 26 Float 16 ~19 FPS via TFLite GPU on a Pixel 3

Table 3.

Result of angle estimation accuracy test (raw data).

With ArUco Marker Only MediaPipe
Reference Angle (Open) ArUco Angle (Obscured) Reference Angle (Open) MediaPipe Angle (Obscured)
72.3 72.9 78.7 81
71.8 73.2 69.5 78.5
74.3 76.2 48.4 55.8
78.6 76.5 100.7 82.8
91.9 89.5 140.9 132.5
54.6 55.5 90.2 93
52.2 50.1 35.6 44.8
120.8 122.1 30.7 21.3
116.8 116.7 47.5 39.8
44.6 43.2 111 105.7
36.3 34.7 101.6 107
36.7 34.6 103 112.7
85.6 84.4 37.8 30.2
97.8 94.4 102 102.4
121.2 124.2 146.1 143.1
95.9 96.8 59.4 68.3
112.4 113.8 131.7 128.2
63.3 64.8 27.8 21.3
81.8 85.2 37.8 47.7
119.1 131.8 87.1 133

Table 4.

Mean Absolute Error (MAE) and standard deviation of angle estimation accuracy results.

Difference between Reference and ArUco Angle Difference between Reference and non-ArUco Angle
2.270°±2.603° 9.010°±9.474°

Table 5.

Comparison of biceps curl exercise success rate according to the application of the proposed system.

Subject A B C D E F G H I J K Avg.
Normal 9 6 2 7 3 4 10 5 8 8 7 6.273
Feedback 9 9 7 8 9 7 10 8 10 10 9 8.727

Table 6.

Comparison of characteristics between the proposed system and existing exercise assistance Systems.

Feature MediaPipe MediaPipe + EMG Proposed
OC : Occlusion Handling, MAM : Muscle Activity Monitoring, ES : Exercise Safety
OC Low High High
MAM Impossible High High
ES Low Medium High