Institute of Control, Robotics and Systems
[ Article ]
Journal of Institute of Control, Robotics and Systems - Vol. 32, No. 1, pp.52-58
ISSN: 1976-5622 (Print) 2233-4335 (Online)
Print publication date 01 Jan 2026
Received 07 Nov 2025 Revised 18 Nov 2025 Accepted 30 Nov 2025
DOI: https://doi.org/10.5302/J.ICROS.2026.25.0293

고충실도 Sim-to-real 전환을 위한 물리 시뮬레이터 내 구동기 열 모델 통합 연구

신성준1 ; 김종원2 ; 윤지민2 ; 공경철2, *
한국과학기술원 로봇공학학제전공 대학원생 sungjune.shin@kaist.ac.kr
한국과학기술원 기계공학과 대학원생 jongwon.kim@kaist.ac.kr
한국과학기술원 기계공학과 대학원생 yjm7845@kaist.ac.kr
한국과학기술원 기계공학과 교수 kckong@kaist.ac.kr
A Study of Integrating Thermal Models into Actuators in Physics Simulators for High-fidelity Sim-to-real Transfer
Sungjune Shin1 ; Jongwon Kim2 ; Jimin Youn2 ; Kyoungchul Kong2, *
1Robotics Program, Korea Advanced Institute of Science and Technology
2Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology
2Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology
2Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology

Correspondence to: *Corresponding Author

Copyright© ICROS 2026

Abstract

The performance gap between simulated and real-world robots, known as the Sim-to-real gap, remains a critical challenge in robotics. While methods such as system identification and domain randomization address time-invariant mechanical parameters, they often overlook the significant performance degradation caused by actuator overheating during prolonged operation. High-current usage in modern QDD (Quasi-Direct Drive) actuators generates Joule heating, reducing motor torque constant and exacerbating the Sim-to-real gap. This study proposes a method to bridge this gap by integrating an LPTN (Lumped Parameter Thermal Network) model directly into the Isaac Gym physics simulation loop. The model estimates the real-time rotor temperature, computes torque constant degradation, and applies the resulting torque loss within the simulator's physics engine. The proposed simulation with thermal network model is validated against a baseline simulation without it and a real 1-DoF robotic testbed under identical long-duration sinusoidal inputs. Experimental results demonstrate that the proposed simulation incorporating the thermal model accurately reproduces the performance degradation observed in the real system with a temperature RMSE of less than 3.79 °C and a 29.1% relative error in final amplitude decay, which the baseline simulation fails to capture.

Keywords:

sim-to-real, actuator thermal model, LPTN (Lumped Parameter Thermal Network), high-fidelity simulation

I. 서론

최근 로봇 공학 분야에서는 복잡하고 동적인 작업을 수행하기 위한 제어 패러다임으로 강화학습(reinforcement learning)이 활발히 도입되고 있다[1,2]. 강화학습은 에이전트가 환경과의 수많은 상호작용을 통해 최적의 행동 정책을 학습하는 프레임워크를 제공한다[3]. 하지만 최적의 정책을 수렴시키기 위하여 방대한 양의 데이터를 요구하며[3], 실제 로봇 하드웨어를 이용한 데이터 수집은 시간, 비용, 그리고 안전 상의 문제가 존재한다. 이러한 이유로 현대의 로봇 강화학습은 GPU 가속을 지원하는 고속 물리 시뮬레이터에 크게 의존하고 있다[4,5].

그러나 시뮬레이션 환경에 대한 높은 의존도는 Sim-to-real 격차라는 고질적인 문제를 야기한다[6]. 이는 시뮬레이션의 물리 엔진이 실제 환경의 복잡한 동역학을 완벽히 모사하지 못하여, 가상 환경에서 성공적으로 학습된 정책이 실제 로봇에서는 성능 저하를 일으키는 현상을 의미한다[7]. 이러한 격차를 해소하기 위해 도메인 무작위화(domain randomization)[8] 혹은 시스템 식별(system identification)[9]과 같은 기법들이 널리 사용되어 왔다. 이와 더불어, Sim-to-real 격차를 하드웨어 설계 단계에서부터 본질적으로 줄이려는 접근법도 주목받고 있다. 예를 들어, 낮은 기어비를 가진 QDD (Quasi-Direct Drive) 구동기[10]는 백래시(backlash)와 마찰을 최소화하여 시뮬레이션과의 동역학적 유사성을 높인다.

하지만 QDD와 같이 기어비가 낮은 구동 시스템은 충분한 출력 토크를 확보하기 위해 필연적으로 높은 전류를 요구한다. 높은 전류는 구동기 권선에서 줄 발열(Joule heating)을 야기하며, 이는 로봇이 장시간 임무를 수행할 때 발열로 인해 구동기의 성능이 저하되어[11] Sim-to-real 격차가 증가하는 문제로 이어진다. 이러한 시변 특성은 기존의 Sim-to-real 접근법에서 잘 다루어지지 않았다. 시스템 식별 관련 연구의 경우, 주로 시간에 따라 변하지 않는 기계적 파라미터의 식별에 초점을 맞추어 왔다[9]. 시변 특성을 반영하는 선행 연구는 주로 복잡한 마찰 모델을 시뮬레이션 환경에 반영하는 데 중점을 두고 있어, 구동기의 여러 종류와 특성에 따라 마찰 모델의 강건성이 보장되기 어렵다는 한계가 있다[12]. 구동기의 온도를 예측하는 연구는 진행되고 있으나 이를 시뮬레이션 환경에까지 반영한 연구는 찾아보기 어렵다[13].

로봇 구동기는 작동 시 발생하는 줄 발열로 인해 필연적으로 내부 온도가 상승한다. 이는 영구자석의 자속 밀도를 교란시켜 토크 상수를 감소시키는 직접적인 원인이 된다. 실제 BLDC 모터의 경우, 온도가 100 ℃ 상승하면 토크 상수가 10% 이상 감소하며[14], 이는 동일한 전류 입력에 대해 실제 출력 토크가 그만큼 약해짐을 의미한다. 기존의 시뮬레이션 환경에서는 토크 상수를 고정된 값으로 취급하여, 장시간 구동 시 발생하는 이러한 예측 가능한 성능 저하를 모사하지 못한다. 이는 강화학습 정책이 실제 환경에서 예기치 않은 추종 오차나 불안정성을 겪게 만드는 Sim-to-real 격차의 핵심 원인이다.

따라서 본 연구의 목표는 이러한 구동기의 발열로 인한 성능 저하 현상을 물리 법칙에 기반하여 모델링하고, 이를 시뮬레이션 환경에 통합하여 Sim-to-real 격차를 해소하는 것이다. 이를 위해, 계산 효율성과 정확성의 균형을 맞춘 LPTN (Lumped Parameter Thermal Network) 모델을 도입한다[15]. LPTN 모델은 외부 온도와 입력 전류를 바탕으로, 영구자석이 위치한 회전자의 온도를 실시간으로 추정하는 상태 추정기 역할을 수행한다.

본 논문에서는 LPTN을 통해 추정된 회전자 온도를 사전에 식별된 선형 관계식에 대입하여 토크 상수 감소율을 실시간으로 계산하고, 이를 시뮬레이션 루프에 반영하는 방법을 제안한다. 또한 이를 기존의 시뮬레이션 환경 및 실제 로봇 시스템과 비교하여 제안하는 방법론의 유효성을 검증한다. 각 환경에서 동일한 장시간 구동 실험을 수행한 후, 시간에 따른 온도 상승 곡선과 위치 진폭 감쇠 패턴을 비교 분석하여, 시뮬레이션에 구현된 모델이 실제 구동기의 성능 저하 현상을 얼마나 정확하게 모사하는지 정량적으로 입증한다. 선행 연구[15]에서는 구동기의 열 모델을 기반으로 실제 하드웨어 제어기 내에서 성능 저하를 보상하는 데 초점을 맞추었다면 본 연구에서는 열 모델을 물리 시뮬레이터 내에 반영하는 방법론을 제안한다. 이를 통해, 열적 동특성이 반영되어 실제와 유사한 성능 저하가 존재하는 고충실도 환경을 구축할 수 있으며, 추후 이러한 환경에서의 정책 학습을 가능하게 하여 Sim-to-real 정합성을 높이는데 기여하고자 한다.

논문의 구성은 다음과 같다. II장에서는 LPTN 기반의 열 모델과 이를 시뮬레이션 루프에 통합하는 방법론을 설명한다. III장에서는 열 모델 파라미터의 식별 과정과 결과를 기술한다. IV장에서는 실제 환경과 시뮬레이션 환경에서의 비교 실험 결과를 제시하여 제안된 방법론의 강건성과 유효성을 검증한다. 또한, 관측된 오차를 정량적으로 분석하고 열 모델 식별 기법의 타당성 및 확장 방안에 대해 고찰한다. 마지막으로 V장에서는 연구의 결론과 향후 과제를 논의한다.


II. 구동기 열 모델 및 시뮬레이션 방법론

제안하는 시뮬레이션 환경은 구동기의 발열로 인한 성능 저하를 실시간으로 모사한다. 이를 위한 방법론은 크게 두 부분으로 구성된다. 첫째로는 구동기 내부의 열 전달 및 토크 상수 감소 현상을 물리적으로 모델링하는 구동기 열 모델링이며, 둘째로는 열 모델을 시뮬레이션 루프에 통합하여 토크 저하를 반영하는 시뮬레이션 통합 방법론이다.

1. 구동기 열 모델링

구동기의 온도 분포를 정밀하게 예측하는 방법으로는 유한요소법이 있으나 [16], 이는 실시간 시뮬레이션에 적용하기에는 계산 비용이 매우 높다. 연구의 목표인 실시간 토크 상수 추정을 위해서는 계산 효율성과 물리적 정확성 간의 균형이 필요하다. 이에 선행 연구[15]에서 유효성이 검증된 LPTN 모델을 기반으로 하여 온도 예측을 진행한다. LPTN은 구동기 내부의 복잡한 3차원 열 전달 경로를 주요 부품별 노드로 단순화하고, 각 노드 간의 상호작용을 열저항과 열용량의 네트워크로 모델링하는 방식이다.

그림 1. (a)와 같이 구동기의 핵심 부품을 5개의 노드, 즉 고정자, 회전자, 측면 하우징, 전면 하우징, 기어로 구분하였다. 5개의 노드로 구성한 LPTN은 그림 1. (b)와 같다. 아래 첨자 𝑠, 𝑟, ℎ𝑠, ℎ𝑓, 𝑔, 𝑎는 각각 고정자, 회전자, 측면 하우징, 전면 하우징, 기어, 주변을 의미한다. 𝑇는 각 노드의 온도이고 𝐶는 각 노드의 열용량을, 𝑅은 노드 간의 열저항을 나타낸다. 시스템의 주요 열원은 고정자 권선에서 발생하는 줄 발열 𝑃𝑠로 가정한다. 실제 구동기에는 입력 전류 주파수와 관련된 철손(iron loss)도 존재하지만, 본 연구가 초점을 맞추는 고전류 환경에서는 전류의 제곱에 비례하는 줄 발열이 철손 대비 지배적이라는 선행 연구[15]에 근거하여, 열 모델에서는 철손항을 제외하고 줄 발열만을 주요 열원으로 고려한다. 열 네트워크의 동특성은 식 (1)과 같이 이산 시간 상태 공간 방정식으로 나타낼 수 있다.

Ts(k+1)Tr(k+1)Ths(k+1)Thf(k+1)Tg(k+1)=FTs(k)Tr(k)Ths(k)Thf(k)Tg(k)+Gi2(k)+WTa(1) 
Fig. 1.

(a) Node selection of LPTN and (b) LPTN.

[𝑇𝑠 𝑇𝑟 𝑇ℎ𝑠 𝑇ℎ𝑓 𝑇𝑔]𝑇는 5개의 노드 온도, 𝑖는 입력 전류, 𝑇𝑎는 주변 온도이고 𝐅 ∈ ℝ5×5, 𝐆 ∈ ℝ5×1, 𝐖 ∈ ℝ5×1 는 각각 상태 행렬, 입력 행렬, 외란 행렬이다. 행렬 𝐅, 𝐆, 𝐖의 각 요소는 식별하고자 하는 열용량과 열저항 값에 해당한다.

구동기의 토크 상수 𝐾𝑡는 회전자 온도 𝑇𝑟에 대해 선형적으로 감소하는 관계를 가진다[17]. 기준 온도 𝑇ref에 대한 토크 상수의 감소율 𝛾는 식 (2)와 같이 회전자 온도에 대한 함수로 나타낼 수 있다.

γTr=KtTrKtTref.(2) 

따라서 회전자 온도에 대해 선형적으로 감소하는 토크 상수의 감소율은 식 (3)과 같이 선형식으로 나타낼 수 있다. 𝛼는 회전자 온도에 따른 구동기 토크 상수 감소율의 변화율을 의미하고 𝛽는 토크 상수 감소율을 기준 온도에서 1로 정규화하기 위한 계수이다.

γTr=1+αTr-Tref=αTr+β.(3) 

2. 시뮬레이션 통합 방법론

앞서 정의된 열 모델은 메인 물리 시뮬레이션 루프 내에서 실행되는 열 모델 루프의 형태로 통합된다. 이 통합 모델은 제어기가 생성한 명령 토크가 물리 엔진에 직접 적용되지 않고, 열화 상태를 반영하여 수정되는 과정을 거친다.

k번째 시뮬레이션 스텝에서, 제어기가 토크 입력 𝜏cmd(𝑘)를 생성하면, 이는 식 (4)와 같이 열 모델 루프로부터 계산된 직전 (k-1)번째 스텝에서의 토크 상수 감소율 𝛾(𝑘 − 1)과 곱해진다.

τapplied (k)=γ(k-1)τcmd (k).(4) 

𝜏applied(𝑘)는 k번째 스텝에서 물리 엔진에 최종적으로 인가되는 토크이다.

물리 시뮬레이션 루프가 진행된 직후, 열 모델 루프는 𝜏cmd(𝑘) 값을 입력 받아 𝛾(𝑘) 값을 계산하기 위한 업데이트를 수행한다. 이 과정에서 필요한 열원 𝑖2(𝑘)는 식 (5)와 같이 명령 토크 𝜏cmd(𝑘)와 직전 (k-1)번째 스텝에서 계산된 토크 상수 𝐾𝑡(𝑘 − 1)을 기반으로 추정된다.

ik=τcmdkKtk-1.(5) 

이때 𝐾𝑡(𝑘 − 1) = 𝐾𝑡(0) 𝛾(𝑘 − 1) 로 상온에서의 토크 상수 𝐾𝑡(0)에 (k-1)번째 스텝에서의 토크 상수 감소율이 곱해져서 구해진다. 추정된 전류와 현재 온도는 식 (1)에 입력되어 다음 스텝의 온도를 예측한다. 예측된 회전자의 온도를 식 (3)의 선형 관계식에 대입하여 새로운 토크 상수 감소율을 계산한다. 이 토크 상수 감소율 값은 다음 시뮬레이션 스텝에서 식 (4)의 연산을 위해 저장된다. 전체 프로세스는 표 1과 같이 요약될 수 있다.

Pseudocode for thermal model integration within the simulation loop.


III. 열 모델 식별 및 결과

II장에서 기술한 방법론을 시뮬레이션에 적용하기 위해서는 알고리즘의 핵심이 되는 두 가지 주요 파라미터 세트를 식별해야 한다. 첫째는 LPTN 모델의 동특성을 정의하는 시스템 행렬 𝐅, 𝐆, 𝐖이며, 둘째는 열화를 계산하기 위한 온도-토크 상수 간의 관계를 나타내는 토크 상수 감소율 𝛾이다.

연구에서 모델링의 대상이 되는 구동기는 프레임리스 BLDC 모터(Allied Motion MF076008)와 기어비 20.25의 유성 기어를 사용하여 제작되었다.

1. 열 모델 파라미터 식별 및 결과

II.1절의 식 (1)을 정의하는 시스템 행렬 𝐅, 𝐆, 𝐖 식별을 위해 파라미터 식별을 위한 데이터에 시스템의 열 동특성을 효과적으로 반영하고자 하였다. 이를 위해 시스템의 가장 긴 열 시정수가 약 1336초임에 근거하여, 이보다 긴 최대 1500초의 주기를 포함하는 5가지 주파수 대역으로 구성된 4 A 크기의 전류 입력 프로파일을 구동기의 출력을 고정한 상태에서 인가하였다. 5개 노드의 온도는 열전대(thermocouple) 센서를 사용하여 측정하였다. 이때, 센서 신호의 잡음 감소를 위해 1차 저역 통과 필터(low-pass filter)를 사용하였으며, 이상치로 인한 영향을 줄이기 위하여 고정자에는 3개, 회전자와 기어에는 2개의 열전대 센서를 부착하고 그 평균값으로 온도 데이터를 취득하였다. 이렇게 잡음과 이상치 영향을 저감하여 취득한 충분한 양의 실제 온도 응답 데이터와 입력 시계열 데이터를 기반으로 시스템 행렬을 식별하였다. 식 (1)이 파라미터에 대한 선형식임을 고려하여 잔차를 최소화하는 최소제곱법을 적용하여 시스템 행렬 𝐅, 𝐆, 𝐖를 도출하였다.

이 식별 과정을 통해 도출된 시스템 행렬 𝐅 ∈ ℝ5×5식 (6)과 같다.

F=0.9870.001-0.0570.0450.0230.0010.9890.002-0.0010.0080.008-0.0070.9510.0210.026-0.0010.0020.0290.9690.000-0.0210.1820.235-0.0850.666.(6) 

또한, 입력 전류와 주변 온도에 대한 시스템 행렬 , 𝐆 ∈ ℝ5×1, 𝐖 ∈ ℝ5×1식 (7)과 같이 식별되었다.

G=0.0284-0.00010.00010.00010.0031,W=0.0003-0.00030.00110.00210.0235.(7) 

2. 온도-토크 상수 관계 식별 및 결과

식 (3)에서 제시된 회전자 온도와 토크 상수 감소율 간의 선형 관계식은 다음과 같은 절차로 식별하였다.

구동기에 여러 크기의 스텝 전류를 인가하여 온도를 상승시키는 동안, 회전자 온도와 토크 센서로 측정한 실제 출력 토크를 동시에 기록하였다. 수집된 데이터를 바탕으로 온도 변화에 따른 토크 상수의 변화를 분석하고, 이를 선형 회귀하여 관계식을 도출하였다.

이 실험을 통해 식별된 상온(25 ℃) 기준 토크 상수 값은 식 (8)과 같다.

Kt25C=0.0961Nm/A.(8) 

회전자 온도에 따른 토크 상수 감소율의 선형 관계식은 식 (9)와 같이 식별되었다.

γTr=-0.0011Tr+1.0385.(9) 

IV. 실험 및 검증

본 장에서는 II장에서 제안한 열 모델 통합 시뮬레이션이 실제 구동기의 발열로 인한 성능 저하 현상을 얼마나 정확히 모사하는지 검증한다. 또한, 열 모델이 없는 기존 시뮬레이션과의 비교를 통해 제안하는 방법론의 유효성을 정량적으로 분석한다.

1. 실험 환경 구성

제안한 방법론의 검증 실험은 세 가지 서로 다른 환경에서 동일한 입력을 가하여 그 응답을 비교하는 방식으로 수행된다. 첫 번째 환경은 실제 환경으로, 2 자유도 로봇 팔 테스트베드를 대상으로 한다. 실험은 로봇의 두 번째 관절을 초기 위치로 고정하는 위치제어를 통해, 첫 번째 관절의 움직임만을 분석하는 1 자유도 시스템으로 단순화하여 진행하였다. 이때, 주 구동 관절인 첫 번째 관절에 직접 전류 입력을 인가하고, 증분형 엔코더를 통해 위치를 측정하며, 해당 구동기의 고정자에 부착된 서미스터(thermistor)를 통해 온도를 실시간으로 측정한다.

두 번째 환경은 열 모델이 반영되지 않은 기존 시뮬레이션(Baseline Sim)으로, Isaac Gym [18] 시뮬레이터 상에 실제 환경과 동일한 로봇 모델을 구성한다. 이 환경은 III장에서 식별된 상온 기준 토크 상수만을 사용하며, 시간에 따른 열화는 고려하지 않는다.

세 번째 환경은 제안된 열 모델 반영 방법론이 적용된 시뮬레이션(Proposed Sim)이며, Baseline Sim과 모든 조건이 동일하지만 II.2절의 Algorithm 1이 적용된다. 이 환경은 III장에서 식별된 𝐅, 𝐆, 𝐖 행렬 및 토크 상수 감소율 관계식을 사용하여 매 스텝 구동기의 열화를 계산하고 이를 물리 엔진에 반영한다.

공정한 비교를 위하여, 두 시뮬레이션 환경의 기계적 동역학 파라미터는 사전에 시스템 식별을 통해 도출된 값을 동일하게 적용하였다. 구동기 관절의 관성 모멘트 0.001765 kg·m2는 시뮬레이터의 “DofProperties” 항목 내의 “armature” 속성에 설정하였으며, 점성 마찰 계수 0.003140 N·m·s/rad는 “damping” 속성에 설정하여 두 시뮬레이션이 동일한 기계적 기반 위에서 작동하도록 구성하였다. 구성된 실제 실험 환경과 시뮬레이션 환경에서의 로봇은 그림 2와 같다.

Fig. 2.

Comparison of robots in (a) real and (b) simulation environments.

2. 장시간 구동 실험 결과

제안하는 모델의 유효성을 검증하기 위해, 동일한 동적 입력 조건 하에서 Real, Baseline Sim, Proposed Sim의 위치 응답을 비교하는 실험을 입력을 달리하여 두 차례 진행하였다. 장시간 동안 일정한 패턴의 부하를 가했을 때 발생하는 성능 저하를 비교하기 위해, 실험 1에서는 주파수 𝑓가 0.5 Hz인 사인파 형태의 전류 입력 𝑖cmd(𝑡) = (4.25 + sin(2𝜋𝑓𝑡)) A를 세 시스템에 동일하게 인가하였다. 이때 시뮬레이션 환경에서는 해당 전류 입력에 상응하는 토크 입력을 인가하였다.

그림 3. (a)는 약 50분간의 구동 동안 실제 환경에서 측정된 고정자 온도와 Proposed Sim에서 예측된 고정자 온도를 비교한 그래프이다. Proposed Sim의 온도 예측 곡선은 실제 환경 실험에서 측정된 온도 상승 추세를 RMSE 3.79 ℃ 이내로 추종하였다. 그림 3. (b)는 시간에 따른 최대 진폭을 비교한 그래프이다. 실제 환경 실험에서는 39.78°에서 38.30°로 약 1.48°의 진폭 감쇠를 보였고 열 모델이 적용된 Proposed Sim 에서는 40.16°에서 38.25°로 약 1.91°의 진폭 감쇠를 보였다. 열 모델이 적용되지 않은 Baseline Sim에서는 최대 진폭이 40.16°로 일정하였다. 이를 표로 정리하면 표 2와 같다.

Fig. 3.

Comparison of (a) stator temperature and (b) position over time in experiment 1.

Maximum amplitude in three experimental environments in experiment 1.

제안하는 모델의 유효성을 다른 동적 조건에서도 검증하여 검증의 타당성을 보강하기 위해, 두 번째 검증 실험을 수행하였다. 실험 2에서는 주파수와 진폭은 실험 1과 동일하나 오프셋이 5.0 A로 더 큰 사인파 형태의 전류 입력 𝑖cmd(𝑡) = (5.0 + sin(2𝜋𝑓𝑡)) A를 약 12분간 세 실험 환경에 동일하게 인가하였다. Proposed Sim은 고정자 온도를 그림 4. (a)에서와 같이 RMSE 2.38 ℃ 이내로 예측하였다. 최대 진폭의 감쇠는 실제 환경 실험에서는 47.14°에서 45.84°로 약 1.30°, Proposed Sim에서는 47.10°에서 45.30°로 약 1.80°로 나타났다. 이를 표로 정리하면 표 3과 같다.

Fig. 4.

Comparison of (a) stator temperature and (b) position over time in experiment 2.

Maximum amplitude in three experimental environments in experiment 2.

3. 결과 고찰

두 비교 실험을 통해, Proposed Sim은 Baseline Sim과 달리 실제 구동기에서 나타나는 발열로 인한 성능 저하 현상을 모사함을 확인하였다. Baseline Sim은 실제 환경에서 명확히 관측된 진폭 감쇠 현상을 전혀 재현하지 못한 반면, Proposed Sim은 두 실험 모두에서 실제 환경과 동일하게 성능이 저하되는 현상을 성공적으로 예측하였다. 이는 연구의 목표로 한 Sim-to-real 격차 해소의 유효성을 보여주는 핵심 결과이다. 두 실험의 오프셋 전류를 다르게 설정한 것은 제안한 열 모델이 다양한 열 부하 조건에서 실제 현상을 강건하게 모사함을 입증하기 위함이다. 오프셋 전류를 키운 실험 2는 실험 1보다 더 높은 줄 발열을 유도하여 발열 속도가 빠르고 성능 저하가 심화되는 환경이다. 실험 결과, Proposed Sim은 두 가지 상이한 부하 조건 모두에서 온도 상승 곡선과 진폭 감쇠 경향성을 성공적으로 예측하였다. 이를 통해 제안한 모델이 특정 조건에 과적합되지 않고, 부하 변동에 따른 구동기의 열적 시변 특성을 정확히 반영하여 Sim-to-real 격차를 효과적으로 해소함을 정량적으로 입증하였다.

다만 표 23에서 확인할 수 있듯이 Proposed Sim의 감쇠량이 실제 환경에서의 감쇠량보다 크게 예측되는 차이가 관측되었다. 실험 1에서는 약 29.1%, 실험 2에서는 약 38.5%의 감쇠량 오차가 발생하였다. 이러한 오차의 원인으로는 점성 마찰 계수의 온도 의존성이 있을 수 있다. 시뮬레이션 환경에서의 점성 마찰 계수는 상수로 고정된 값이지만 실제로는 구동기의 마찰은 온도에 따라 최대 70%까지 변화할 수 있다 [19]. 또한 시뮬레이션 환경에서 동작하는 Algorithm 1은 LPTN 모델만을 사용하여 회전자 온도를 추정한다. 하지만 이 LPTN 모델의 기반이 된 선행 연구[15]에서는, 모델의 파라미터 불확실성을 보상하고 추정 정확도를 높이기 위해, 측정 가능한 고정자 온도를 피드백으로 사용하는 온도 관측기를 추가로 적용하였다. 해당 연구에 따르면, 동적 환경에서 관측기 부재 시 온도 예측 오차는 최대 7.05%까지 발생할 수 있다. 한편, 실제 환경 실험에서 얻어진 전류 입력 값에서도 실측 값이 기준 값 대비 약 1.5%의 오차가 존재함을 확인하였다. 해석적인 오차 전파 분석을 통해 점성 마찰 계수, 회전차 온도의 불확실성과 입력 전류 값의 오차로 인해 진폭 감쇠량에서 발생할 수 있는 오차율은 실험 1의 경우 약 58.6%, 실험 2의 경우 약 57.7%로 계산되었다. 따라서 실험 1과 2에서 각각 관측된 오차율 29.1%, 38.5%는 허용 오차 범위 내에 존재함을 확인하였다.

한편, 두 실험에서 얻어진 온도 예측 오차 결과는 잡음과 이상치가 저감된 충분한 데이터 확보를 전제로 한 최소제곱법의 적용이 유효했음을 시사한다. 추후 실제 구동 환경에서 열 모델의 강건성을 더욱 높이기 위해 다양한 최적화 기법의 적용을 고려할 수 있다. 파라미터 식별을 위한 데이터 수집의 제약으로 데이터가 부족하거나 과적합의 우려가 있는 경우에는 정규화 기법을 도입하여 해의 안정성을 확보할 수 있다. 이종 센서 융합 등으로 인해 센서 간 잡음 특성이 상이할 경우에는 신뢰도가 높은 데이터에 더 큰 가중치를 부여하는 가중 최소제곱법이 식별 정밀도를 향상시킬 수 있다. 마지막으로, 선형 모델이 포착하기 어려운 복잡한 열전달 현상이나 비선형성을 반영하기 위해 신경망 기반의 최적화 기법을 도입할 수 있다. 특히 물리 법칙을 손실 함수에 포함하는 물리 정보 신경망 등을 활용한다면, 물리적 해석 가능성을 유지하면서도 모델링 오차를 최소화하는 방향으로 확장할 수 있을 것이다.


V. 결론

본 연구는 강화학습 로봇의 Sim-to-real 격차 문제를 줄이기 위하여 실제 환경에서 장시간 구동 시 발생하는 구동기 발열로 인한 성능 저하 현상을 시뮬레이션 환경에 반영하고자 하였다. 이를 위해 선행 연구에서 검증된 LPTN 모델을 물리 시뮬레이터에 통합하는 실시간 알고리즘을 제안했다. 제안하는 방법론의 유효성을 검증하기 위해 Real, Baseline Sim, Proposed Sim의 세 가지 환경에서 비교 실험을 수행하였다. 장시간 사인파 구동 실험 결과, Baseline Sim은 실제의 열화 현상을 전혀 모사하지 못한 반면, Proposed Sim은 진폭 감쇠 현상을 성공적으로 재현하였다. 관측된 오차는 시뮬레이션 환경에서의 점성 마찰 계수, 예측 온도의 불확실성과 실제 환경에서의 입력 전류 오차로 인한 결과임을 고찰하였다. 본 연구는 장시간 임무 수행에 대한 고충실도 시뮬레이션 환경을 제공함으로써, 실제 환경에서 더욱 강인한 강화학습 정책 개발에 기여한다는 점에서 의의를 가진다. 향후 연구에서는 분석된 오차 원인들을 해결하여 모델의 정확도를 더욱 높일 계획이다.

Acknowledgments

이 논문은 2024년도 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원을 받아 수행된 소재부품기술개발사업(No. RS-2024-00419262)과, 2025년도 정부(과학기술정보통신부)의 재원으로 연구개발특구진흥재단의 지원을 받아 수행된 원천기술개발사업(No. RS-2025-25454261)의 지원으로 진행되었음.

REFERENCES

  • M. J. Kim, D. Lim, D. Kim, J. Cha, J. Shin, W. Cha, G. Park, K. Lee, and J. Park, “Advances in humanoid robot walking technologies: A review,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 30, no. 4, pp. 412–422, Apr. 2024. [https://doi.org/10.5302/J.ICROS.2024.24.0042]
  • M. Aljamal, S. Patel, and A. Mahmood, “Comprehensive review of robotics operating system-based reinforcement learning in robotics,” Applied Sciences, vol. 15, no. 4, pp. 1–28, Feb. 2025. [https://doi.org/10.3390/app15041840]
  • J. L. Tan, B. A. Taha, N. A. Aziz, M. H. H. Mokhtar, M. Mukhlisin, and N. Arsad, “A review of reinforcement learning evolution: Taxonomy, challenges and emerging solutions,” International Journal of Advanced Computer Science & Applications, vol. 16, no. 1, pp. 490–499, Jan. 2025. [https://doi.org/10.14569/ijacsa.2025.0160149]
  • D. M. Hong, D. Oualid, D. Kim, J. H. Lee, L. Wang, and D. J. Lee, “A Vision-language model and reinforcement learning-based zero-shot action generation framework for an autonomous robot,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 31, no. 6, pp. 621–628, Jun. 2025. [https://doi.org/10.5302/J.ICROS.2025.25.0036]
  • V. Joshi, Z. Xu, B. Liu, P. Stone, and A. Zhang, “Benchmarking massively parallelized multi-task reinforcement learning for robotics tasks,” arXiv preprint arXiv:2507.23172, , Jul. 2025. [https://doi.org/10.48550/arXiv.2507.23172]
  • L. Da, D. Wang, Y. Wu, Z. Liu, G. Wang, H. Wang, X. Mei, T. Wang, H. Fu, and C. Liu, “A survey of sim-to-real methods in rl: Progress, prospects and challenges with foundation models,” arXiv preprint arXiv:2502.13187, , Feb. 2025. [https://doi.org/10.48550/arXiv.2507.23172]
  • N. Chukwurah, A. S. Adebayo, and O. O. Ajayi, “Sim-to-real transfer in robotics: Addressing the gap between simulation and real-world performance,” International Journal of Robotics and Simulation, vol. 6, no. 1, pp. 89–102, Jan. 2024. [https://doi.org/10.54660/.IJFMR.2024.5.1.33-39]
  • F. Muratore, C. Eilers, and M. Gienger, “Bayesian domain randomization for sim-to-real transfer,” arXiv preprint arXiv:2003.02471, , Mar. 2020. [https://doi.org/10.48550/arXiv.2003.02471]
  • W. Yu, C. K. Liu, and G. Turk, “Preparing for the unknown: Learning a universal policy with online system identification,” arXiv preprint arXiv:1702.02453, , Feb. 2017. [https://doi.org/10.48550/arXiv.1702.02453]
  • S. Yu, W. Gao, J. Li, Q. Huang, and J. Wang, “Quasi-direct drive actuation for a lightweight hip exoskeleton with high backdrivability and high bandwidth,” IEEE/ASME Transactions on Mechatronics, vol. 25, no. 4, pp. 1794–1802, Aug. 2020. [https://doi.org/10.1109/TMECH.2020.2995134]
  • S.M.N.Ali, A.Hanif, and Q. Ahmed, “Review in thermal effects on the performance of electric motors,” 2016 International Conference on Intelligent Systems Engineering (ICISE), Jan. 2016. [https://doi.org/10.1109/INTELSE.2016.7475166]
  • M. Duclusaud, G. Passault, V. Padois, and O. Ly, “Extended friction models for the physics simulation of servo actuators,” 2025 IEEE International Conference on Robotics and Automation (ICRA), May. 2025. [https://doi.org/10.1109/ICRA55743.2025.11128640]
  • T. K. La and E. G. Kaigom, “Deep learning for model-free prediction of thermal states of robot joint motors,” arXiv preprint arXiv:2509.12739, , Sep. 2025. [https://doi.org/10.48550/arXiv.2509.12739]
  • P. T. Luu, J. Y. Lee, J. H. Lee, and J. W. Park, “Electromagnetic and thermal analysis of permanent-magnet synchronous motors for cooperative robot applications,” IEEE Transactions on Magnetics, vol. 56, no. 3, pp. 1–4, Mar. 2020. [https://doi.org/10.1109/TMAG.2019.2942939]
  • J. Youn, H. Kim, K. Shi, and K. Kong, “Thermal characteristic modeling and compensation for the improvement of actuator homeostasis,” IEEE/ASME Transactions on Mechatronics, vol. 29, no. 4, pp. 3019–3027, Aug. 2024. [https://doi.org/10.1109/TMECH.2024.3400214]
  • X. Liang, M. Z. Ali, and H. Zhang, “Induction motors fault diagnosis using finite element method: A review,” IEEE Transactions on Industry Applications, vol. 56, no. 2, pp. 1205–1217, Mar. 2020. [https://doi.org/10.1109/TIA.2019.2958908]
  • R. H. J. Welch, and G. W. Younkin, “How temperature affects a servomotor's electrical and mechanical time constants,” Conference Record of the 2002 IEEE Industry Applications Conference. 37th IAS Annual Meeting, Dec. 2002. [https://doi.org/10.1109/IAS.2002.1042686]
  • V. Makoviychuk, L. Wawrzyniak, Y. Guo, M. Lu, K. Storey, M. Macklin, D. Hoeller, N. Rudin, A. Allshire, A. Handa, and G. State, “Isaac gym: High performance gpu-based physics simulation for robot learning,” arXiv preprint arXiv:2108.10470, , Aug. 2021. [https://doi.org/10.48550/arXiv.2108.10470]
  • L. Hao, R. Pagani, M. Beschi, and G. Legnani, “Dynamic and friction parameters of an industrial robot: Identification, comparison and repetitiveness analysis,” Robotics, vol. 10, no. 1, pp. 1–19, Mar. 2021. [https://doi.org/10.3390/robotics10010049]
신 성 준

2025년 고려대학교 기계공학부(공학사). 2025년~현재 한국과학기술원 로봇공학학제전공 석사과정 재학 중. 관심분야는 로봇 시뮬레이션, 다자유도 로봇 제어.

김 종 원

2021년 한국과학기술원 기계공학과(공학사). 2023년 한국과학기술원 기계공학과(공학석사). 2023년~현재 한국과학기술원 기계공학과 박사과정 재학 중. 관심분야는 인간-로봇 통합 시뮬레이션, 다자유도 웨어러블 로봇 전신제어.

윤 지 민

2022년 한양대학교 기계공학과(공학사). 2024년 한국과학기술원 기계공학과(공학석사). 2024년~현재 한국과학기술원 기계공학과 박사과정 재학 중. 관심분야는 보행로봇제어, 구동시스템제어.

공 경 철

2004년 서강대학교 기계공학/물리학 학사. 2006년 동 대학원 기계공학 석사. 2009년 University of California, Berkeley 기계공학 박사. 2011년~2018년 서강대학교 기계공학과 교수. 2019년~현재 한국과학기술원 기계공학과 교수. 관심분야는 제어이론 및 응용, 인간보조로봇 설계 및 제어 등.

Fig. 1.

Fig. 1.
(a) Node selection of LPTN and (b) LPTN.

Fig. 2.

Fig. 2.
Comparison of robots in (a) real and (b) simulation environments.

Fig. 3.

Fig. 3.
Comparison of (a) stator temperature and (b) position over time in experiment 1.

Fig. 4.

Fig. 4.
Comparison of (a) stator temperature and (b) position over time in experiment 2.

Table 1.

Pseudocode for thermal model integration within the simulation loop.

Algorithm 1. Thermal Network Model Embedded in the Simulation Loop
Load F, G, W //열 모델 시스템 행렬
Load α, β //토크 상수 감소율 선형식 계수
γ = 1.0 //토크 상수 감소율
Kt = Kt,initial //토크 상수
T = Tinitial(Ta) //초기 온도

for k = 1 to Nsteps do
τcmd = controller.get_torque(k) //명령 토크
γprev = γ
τapplied = γprevτcmd //인가 토크
sim.step(τapplied) //물리 시뮬레이션 스텝 진행
iapplied = τcmd/Kt //추정 입력 전류
Tprev = T
Tnew = FTprev +Giapplied 2 +WTa //온도 추정
T = Tnew
Tr = T[rotor] //회전자 온도
γ = αTr + β
Kt = γKt,initial

Table 2.

Maximum amplitude in three experimental environments in experiment 1.

초기 진폭(°) 최종 진폭(°) 감쇠량(°)
실제 환경 39.78 38.30 1.48
Proposed Sim 40.16 38.25 1.91
Baseline Sim 40.16 40.16 0

Table 3.

Maximum amplitude in three experimental environments in experiment 2.

초기 진폭(°) 최종 진폭(°) 감쇠량(°)
실제 환경 47.14 45.84 1.30
Proposed Sim 47.10 45.30 1.80
Baseline Sim 47.10 47.10 0