모바일 2D 카메라 기반 실시간 손동작 인식을 활용한 온-디바이스 XR 작업공간 시스템 개발

사용자는 ‘Expand Size’와 ‘Reduce Size’ 손동작을 통해 가상 환경 내 객체의 크기를 조정할 수 있다. 크기를 조정하고 싶은 객체 위에서 'Expand Size' 또는 'Reduce Size' 손동작을 취하면, 해당 물체의 크기를 점진적으로 확대하거나 축소할 수 있다. 본 시스템은 객체가 독립적으로 동작하기 때문에, 사용자는 가상 공간 내 존재하는 객체의 크기를 개별적으로 조정할 수 있다.

사용자는 ‘Grab’ 손동작을 통해 가상 환경 내에 존재하는 객체의 위치를 조정할 수 있다. 위치를 조정하려는 객체 위에서 ‘Grab’ 손동작을 취하면, 사용자가 객체를 ‘잡은’ 상태가 되어 이동시킬 수 있는 상태가 된다. 이때 손동작을 유지한 채 손의 위치를 변경하면, 가상 객체도 손의 움직임을 따라 이동하므로 사용자가 객체의 위치를 임의로 변경할 수 있다.

사용자는‘Pointing’손동작을 이용하여 가상 환경 내에서 새로운 객체를 생성할 수 있다. 가상 공간에서 ‘Pointing’ 손동작을 취한 상태에서 그림 7의 관절 포인트 4번과 6번 간의 거리를 좁히면 관절 포인트 8번 위치에 새로운 가상 객체가 생성된다.

본 논문에서는 III장 1절에서 정의된 손동작을 인식하기 위한 딥러닝 모델을 제안한다. 손동작은 III장 2절에서 획득한 21개의 손 관절 포인트로 구성된 포인트 클라우드 형태로 표현된다. 온-디바이스 AI 환경에서는 메모리 용량과 딥러닝 연산 성능에 제약이 따르기 때문에, RGB 영상을 직접 사용하여 동작을 분류하는 방법보다는 손 관절 좌표 데이터를 활용하는 방식이 계산 복잡도를 낮추고 연산 속도를 개선하는 데 더욱 효과적이다. 이에 따라, 본 시스템의 손동작 인식 과정은 포인트 클라우드 분류 작업과 유사한 방식으로 설계되었으며, 대표적인 포인트 클라우드 분류 모델인 PointNet [14]을 기반으로 최적화된 손동작 인식 모델을 개발하였다.

PointNet은 포인트 클라우드 데이터를 효과적으로 처리하기 위해 설계된 모델로, SMLP (Shared Multi-Layer Perceptron) [14]을 활용하여 개별 포인트의 특성을 추출한 뒤, Max Pooling 연산을 통해 전체 포인트 클라우드의 전역 특성 벡터를 생성한다. 특히, SMLP는 일반 MLP와 달리 손 관절 좌표 데이터에 대해 가중치를 공유하여 학습을 수행함으로써 손 관절 데이터의 특성을 효과적으로 추출할 수 있다. 이후, 생성된 특성 벡터는 최종적으로 MLP를 통해 분류 작업을 수행한다. PointNet은 1024개 이상의 포인트로 구성된 포인트 클라우드 데이터를 처리하도록 설계된 모델로, 복잡한 3D 데이터 분석에서 우수한 성능을 보인다. 그러나 본 논문의 손동작 인식 모델은 손 관절 데이터를 기반으로 하며, 단 21개의 포인트만을 입력으로 사용하기 때문에, 실시간성 확보와 연산 효율성을 고려하여 PointNet 구조를 경량화하고, 온-디바이스 환경에 맞게 최적화하였다.

제안하는 모델의 전체 구조는 그림 9에 제시된 바와 같이 구성된다. 설계한 손동작 인식 모델은 21개의 손 관절 포인트 클라우드 𝒑 ∈ ℝ^3×21 를 입력 데이터로 받는다. 입력된 포인트 𝒑 는 3층(layer) SMLP를 거쳐, 평탄화(flatten) 층을 통해 포인트 클라우드 특성 벡터 𝒇 ∈ ℝ¹⁰⁵ 로 변환된다. 먼저 첫 번째 SMLP 층인 𝑠₁(∙) 는 𝒑 를 𝒇₁ ∈ ℝ^64×21로 변환하고 두 번째 SMLP 층인 𝑠₂(∙)는 𝒇₁를 𝒇₂ ∈ ℝ^32×21로 변환하며, 마지막 SMLP 층인 𝑠₃(∙)는 𝒇₂를 𝒇₃ ∈ ℝ^5×21로 변환한다. 각 SMLP 층은 1차원 합성곱(convolution) 층, 1차원 배치 정규화(batch normalization), ReLU(Rectified Linear Unit) 활성화 함수로 구성된다. 𝒑로부터 특성 벡터 𝒇를 추출하는 과정은 식 (1)과 같이 표현된다.

Fig. 9.

Hand gesture recognition model architecture.

식 (1)에서 구한 특성벡터 𝒇 는 2층의 MLP 층을 거쳐 softmax 층을 통해 손동작 예측 확률 $$ \widehat{\mathbf{p}}$$로 변환된다. 첫 번째 MLP 층인 𝑚₁(∙) 은 𝒇 를 𝒇₄ ∈ ℝ³² 로 변환한 뒤 두 번째 MLP 층인 𝑚₂(∙) 는 𝒇₄ 를 𝒇₅ ∈ ℝ⁵ 로 변환한다. 첫 번째 MLP 층은 선형(linear) 층과 ReLU 활성화 함수로 구성되고 두 번째 MLP 층은 선형 층과 softmax 층으로 구성된다. 예측 확률 $$ \widehat{\mathbf{p}}\in {\mathbb{R}}^5$$를 구하는 과정은 다음 식 (2)와 같다.

마지막으로 예측 확률 $$ \widehat{\mathbf{p}}$$의 요소들 중 가장 큰 값을 가지는 클래스가 손동작이 입력 데이터의 예측 클래스로 정해진다.

손동작 인식 모델을 학습하기 위해서는 크로스 엔트로피(cross-entropy) 손실함수가 사용된다. 손동작 데이터의 목푯값(target)은 원-핫 인코딩(one-hot encoding) 방식으로 나타내며, 이를 𝐭라 하고, 배치 사이즈를 𝑁이라 할 때 손실함수 ℒ은 식 (3)과 같이 정의된다.

III장 4.1절에서 제안하는 모델을 학습하기 위해 본 연구에서는 딥러닝 모델 학습을 위한 데이터 셋을 직접 수집하였다. 데이터셋을 수집하기 위해 정의된 5가지 손동작을 양손 각 각 촬영한 후, III장 3절의 손 추적 알고리즘을 적용하여 손관 절 좌표를 추출한다. 손동작 데이터 수는 ‘Expand Size’ 5,964개, ‘Reduce Size’ 5,930개, ‘Grab’ 5,764개, ‘Default’ 6,420개, ‘Pointing’ 5,722개로 총 29,800개의 손동작 데이터를 수집하였다. 수집된 데이터는 두 그룹으로 나누어, 하나는 모델 학습을 위한 그룹으로 사용하고 다른 하나는 일반화 성능 평가를 위한 그룹으로 사용한다. 모델 학습을 위한 그룹에서 수집한 데이터는 80%를 학습(train) 데이터로, 나머지 20%를 검증(validation) 데이터로 사용하였다. 일반화 성능 평가를 위한 그룹에서 수집한 데이터는 모두 테스트(test) 데이터로 사용하였다. 데이터셋 구성은 표 2에 정리하였다.

Table 2.

Composition of the hand gesture recognition dataset.

모든 실험은 NVIDIA RTX 3090 24GB GPU를 사용하여 수행하였다. 딥러닝 프레임워크로는 PyTorch 1.11.0을 사용하였으며, CUDA 11.3 및 cuDNN 8.9 환경에서 실행되었다. 모델 학습을 위해 배치 사이즈 𝑁은 128로 설정하였고, 학습률(learning rate)은 1e-3로 지정하였다. 옵티마이저(optimizer)로는 Adam을 사용하였으며, 손실 함수로는 식 (3)의 크로스 엔트로피 함수를 사용하여 총 50 epoch 동안 학습을 진행하였다. 손동작 인식은 밝은 조명 환경에서 맨손을 사용하고, 한 손을 사용하는 조건하에 수행하였다.

모델 학습이 완료된 후, 최종 모델의 구조 및 가중치는 ONNX 포맷으로 변환하였다. 손동작 인식 모델은 총 6,324개의 파라미터를 가지며, 이는 기존 3,471,054개의 파라미터를 가지는 PointNet 대비 약 0.2% 수준으로, 훨씬 경량화 된 구조를 갖는다. 일반적으로 모델 파라미터는 float32 자료형을 사용하며, 이에 따라 본 모델의 파라미터를 저장하는 데 필요한 용량은 약 24.7 KB에 불과하다. 이러한 경량화는 온-디바이스 환경에서의 실시간 처리와 메모리 효율성을 크게 향상시킨다.

제안된 손동작 인식 모델의 성능을 검증하기 위해 본 연구에서는 제안된 모델, PointNet, 그리고 제안된 모델에서 SMLP를 일반 MLP로 대체하여 파라미터 수를 유사하게 조정한 모델을 비교 대상으로 설정하였다. 실험은 서로 다른 10개의 가중치 초기값을 설정하여 반복 수행하였으며, 표 3은 이러한 비교 실험의 결과를 요약하여 평균 ± 표준오차로 제시한다.

Table 3.

Comparison of hand gesture recognition accuracy (%) and parameters.

실험결과, 제안된 모델은 PointNet 대비 더 우수한 일반화 성능을 보였다. PointNet의 경우, 검증(validation) 데이터셋에서 약 99.4%의 정확도를 달성하였으나, 테스트(test) 데이터셋에서는 74.4%로 성능이 급격히 감소하였다. 이는 PointNet이 학습 데이터에 포함된 사용자에 대해 과적합(overfitting) 되었음을 시사한다. 반면, MLP 모델은 검증 정확도 99.5%, 테스트 정확도 91.1%를 기록하며, PointNet 대비 과적합이 완화 되었음을 확인할 수 있었다. 본 논문에서 제안하는 모델은 검증 정확도 99.7%, 테스트 정확도 94.9%를 달성하였으며, 이는 유사한 파라미터 수를 가진 MLP 모델보다도 높은 일반화 성능을 갖는다는 것을 의미한다.

또한, 손의 좌우 구분에 따른 성능 차이를 분석한 결과, 이러한 경향이 더욱 뚜렷하게 나타났다. 표 4는 모델별 왼손과 오른손의 손동작 인식 정확도를 평균 ± 표준오차 형식으로 비교하여 제시한다. 모든 모델이 검증 데이터셋에서는 좌우 손에 대한 성능 차이가 크지 않았으나, 테스트 데이터셋에서는 PointNet과 MLP 모델이 특정 손에 편향되는 경향을 보였다. 특히, PointNet은 왼손과 오른손의 성능 차이가 약 9.5%, MLP 모델은 10.1%로 나타났다. 반면, 제안된 모델은 테스트 데이터셋에서 왼손 99.5%, 오른손 95.2%의 정확도를 기록하였으며, 손 별 성능 차이가 1.5%로 상대적으로 매우 낮았다. 이는 제안된 모델이 손의 좌우 특성을 균형 있게 학습하여, 보다 안정적인 손동작 인식 성능을 제공함을 의미한다.

Table 4.

Comparison of hand gesture recognition accuracy (%) for left and right hands.

모델별 손동작 인식 정확도는 각 손동작에 대한 예측 성공 여부를 기반으로 측정되며, 이는 재현율(recall)로 해석될 수 있다. 결과는 표 5에 평균 ± 표준오차 형식으로 제시된다. 실험 결과, PointNet 모델은 'Default' 및 'Reduce Size' 손동작에 대해 약 60.0%의 낮은 정확도를 보였다. 특히, 그림 10의 혼동행렬을 통해 PointNet 모델이 'Default'와 'Reduce Size' 손동작 간, 그리고 'Expand Size'와 'Grab' 손동작 간에서 자주 오분류되는 경향을 확인할 수 있다.

Table 5.

Comparison of hand gesture recognition accuracy (%) by gesture on Test set.

Fig. 10.

Visualization of the confusion matrix for left and right hand gestures using the PointNet [12] model on the test set.

MLP 모델은 표 3과 표 4에서 확인할 수 있듯이, PointNet 모델에 비해 전반적인 정확도가 개선되었으나, 'Reduce Size'와 'Grab' 손동작에 대해서는 평균보다 낮은 80.0%대의 정확도를 보였다. 그림 11의 혼동 행렬을 보면, 왼손의 경우 일부 'Grab' 손동작이 'Expand Size'로 예측되었으며, 오른손의 경우 'Grab' 손동작의 절반이 'Expand Size'로 예측되고, 일부 'Reduce Size' 손동작 또한 'Expand Size'로 잘못 예측되었음을 확인할 수 있다. 이로 인해 'Expand Size' 손동작에 대한 예측이 다소 낮은 정밀도(precision)를 나타내는 것으로 해석된다.

Fig. 11.

Visualization of the confusion matrix for left and right hand gestures using the MLP model on the test set.

마지막으로, 제안된 모델은 MLP 모델에 비해 손동작별로 더 균일한 정확도를 나타냈다. 그림 12의 혼동 행렬에 따르면, 왼손의 경우 'Expand Size' 손동작 일부가 'Grab' 손동작으로 예측되긴 했으나, 전반적으로 모든 손동작에 대해 90.0%가 넘는 정확도를 보였다. 이는 제안된 모델이 뛰어난 일반화 성능을 보임을 시사하며, MLP 모델과의 구조적 차이를 통해 SMLP 연산이 모델의 일반화에 기여하고 있음을 확인할 수 있다. 또한, SMLP 연산이 사용된 PointNet 모델과의 파라미터수 차이를 통해 적절한 파라미터 수가 모델의 일반화 성능 향상에 중요한 역할을 한다는 점을 시사한다.

Fig. 12.

Visualization of the confusion matrix for left and right hand gestures using the proposed model on the test set.

표 6에는 각 모델을 사용하여 애플리케이션을 실행했을 때의 FPS (Frame per Second), 지연 시간(latency), 그리고 CPU 사용률을 요약하였다. 해당 실험에서 애플리케이션 성능측정에는 Unity Profiler를 사용하였으며, CPU 사용률은 다음의 식을 이용하여 계산하였다:

Table 6.

Comparison of FPS, Latency, and CPU usage during application execution.

실험 결과, 제안된 모델이 기존 모델들과 비교하여 낮은 지연시간과 CPU 사용률을 보이면서도 상대적으로 높은 FPS를 유지하는 것을 확인하였다. PointNet 모델의 경우, FPS가 10.1로 가장 낮았으며, 지연시간은 99.0ms로 가장 높았다. 또한, CPU 사용률이 78.4%로 상당히 높은 편이었다. MLP 모델은 PointNet 보다 향상된 성능을 보였으며, FPS는 12.1로 증가하고, 지연시간은 82.6ms로 감소하였으며, CPU 사용률은 75.1%로 다소 감소하였다. 반면, 제안된 모델은 가장 높은 FPS(12.4)를 기록하였으며, 지연시간은 82.4ms로 가장 낮고, CPU 사용률도 67.1%로 가장 낮게 측정되었다. 이러한 결과는 제안된 모델이 비교 모델에 비해 연산 효율성이 뛰어나며, CPU 부하를 감소시킴을 보여준다.

본 논문에서 사용한 손 추적 모듈은 Google의 Mediapipe를 기반으로 하고 있다. Mediapipe는 뛰어난 성능과 편리한 사용성을 제공하지만, 조도가 낮은 환경이나 사용자가 장갑을 착용한 경우 손 인식 정확도가 크게 저하되는 한계가 있다. 이러한 환경적 제약을 극복하기 위해 다양한 조명 조건에서의 손동작 인식을 강화할 수 있는 데이터 증강 기법 및 도메인 적응(domain adaptation) 기법의 적용을 고려할 수 있다.

제안 시스템의 주요 한계점은 제한된 환경에서 동작하는 애플리케이션과 딥러닝 모델의 성능 제약에 있다. 특히, 상용화 수준의 FPS를 달성하는 것은 어려운 과제로, 접근성을 장점으로 하는 본 시스템의 한계로 작용할 수 있다. 따라서 향후 연구에서는 애플리케이션 최적화 및 딥러닝 모델의 양자화를 통한 경량화 등의 방법을 고려하여 성능을 개선할 수 있을 것으로 예상한다. 최근 NPU가 탑재된 모바일 디바이스가 개발되면서 온-디바이스 방식의 인공지능 연산이 더욱 효율적으로 수행될 수 있게 되었다. 본 연구에서 사용한 모바일 디바이스는 CPU 기반으로 동작하기 때문에, NPU를 활용할 경우 손동작 인식 메커니즘 전체의 연산 속도가 향상될 것으로 기대할 수 있다.

또한, 현재 손 좌표 추정은 2D 이미지를 기반으로 수행되며, 2D 이미지 특징 상 깊이 값은 실측이 아닌 추정 값을 사용하고 있다. 향후 깊이(depth) 카메라를 도입할 경우, 보다 정확한 깊이 추정이 가능해져 손동작 인식 성능이 더욱 향상될 것으로 예상된다.