차압 및 심층신경망 기반 유압 로봇팔 끝단 반력 추정

1. 차압기반 로봇팔 끝단 반력 추정 연구

각 관절에서 차압센서를 통한 전압과 엔코더를 통한 관절 각도를 측정하여 로봇팔 끝단 반력을 추정할 수 있다. 이 반력 추정은 조종자가 작업 상황을 더 빠르게 인식할 수 있는 정보를 제공한다. 차압기반 로봇팔 끝단 반력 추정에 대한 제어 흐름도는 그림 3과 같다.

Fig. 3.

Flowchart of manipulator end-tip reaction force estimation based on differential hydraulic pressure.

먼저, 각 관절에 입력되는 유압 정보와 압력센서를 통해 얻은 전압 정보를 이용하여 각 구동기 입출력 포트 간의 압력 차이를 식 (1)과 같이 계산한다. Δ𝑃는 입출력 포트 간 차압, 𝑃_𝑖,𝐴는 𝑖번째 입력 압력, 𝑃_𝑖,𝐵는 𝑖번째 출력 압력, 𝑤_𝑖는 𝑖번째 구동기의 전압-압력 가중치로, 관절에 입력되는 유압과 관계가 있으며, 𝑉_𝑖는 𝑖번째 구동기의 압력센서 전압 값을 나타낸다.

계산된 차압 정보를 이용하여 유압모터의 압력-힘 관계 식 (2)를 통해 각 관절의 토크를 계산한다. 𝜏_𝑚은 차압을 이용한 유압모터의 토크, 𝜂은 기계적 효율, 𝑁은 모터 감속비, 𝐷_𝑚은 유압모터의 유효 체적 변위량을 나타낸다[4].

유압 로봇팔 각 링크의 무게와 부력에 의한 힘의 영향을 고려하여 실제 관절에 작용하는 토크를 계산한다. 엔코더를 통해 얻은 관절 각도를 이용한 회전 행렬 𝐴(𝑞)와 질량 중심 벡터를 계산할 비대칭 행렬(skew-symmetric matrix) 𝑠𝑘𝑒𝑤(𝜌)를 식 (3), 식 (4)로 정의한다.

식 (3)에서 정의한 회전 행렬과 관절 각도 𝑞₁~𝑞₆를 이용하여 각각의 자세 행렬 𝐴₁~𝐴₆을 식 (5)와 같이 계산한다. 여기서 𝐶_𝑖𝑗는 각 링크 사이의 변환 행렬이다. 각 관절의 위치 벡터와 질량 중심 벡터를 식 (6), 식 (7)과 같이 계산한다. 𝑟_𝑖는 각 관절 위치 벡터, 𝑠_𝑖𝑗는 각 관절 간의 거리 벡터, 𝜌_𝑖는 각 관절 질량 중심 벡터, 𝜌_{𝑖𝑛𝑖𝑡}은 각 관절의 초기 질량 중심 벡터를 나타낸다.

각 링크에 작용하는 중량에 의한 힘 𝐹_𝑖와 부력에 의한 힘 𝐵_𝑖를 통해 총 힘 𝑄_𝑖를 식 (8)과 같이 계산한 후, 앞서 정의한 비대칭 행렬과 힘 벡터를 이용하여 토크 𝑇_𝑖𝑗를 계산한다. 최종적으로 중력 보상을 포함한 각 관절의 총 토크 𝜏_𝑔,𝑖는 식 (9)로 계산한 후, 이를 유압모터 토크에서 제외하여 중력 보상을 고려한 각 관절의 토크 𝜏_𝑡 를 식 (10)과 같이 계산한다. 𝑚_𝑖는 각 링크의 무게, 𝑔는 중력, 𝜌_𝑤는 물의 밀도, 𝑣_𝑖는 각 링크의 부피, 𝑟_𝑗 − 𝑟_𝑖는 두 위치 벡터 간의 차이로, j는 i보다 이전 위치에 대한 관절 인덱스에 해당한다.

차압 정보를 통해 계산한 관절 토크에서 중력 보상 모델로 보상한 유압모터의 토크 값을 이용하여, 식 (11)에 정의된 관절 자코비안 행렬 𝐽(𝑞) ∈ ℝ^6×6과 식 (12)를 통해 로봇팔 끝단 반력을 추정할 수 있다. F_𝑒는 로봇팔 끝단에 발생하는 반력, 𝐽(𝑞) 는 작업툴에 대해 역자코비안을 계산하여 토크-힘 사이의 관계를 매핑하는 자코비안 행렬을 나타낸다.

최종적으로 식 (12)를 이용하여 로봇팔 끝단 반력을 추정할 수 있다. 차압 정보를 활용한 끝단 반력 추정은 높은 샘플링 속도(100~300Hz)로 가능하지만, 차압을 계산할 때 실제 관로 길이, 마찰, 작업 시 발생하는 온도 영향, 누수를 고려하기 어렵고, 중력 모델은 로봇팔의 CAD 모델을 바탕으로 설계하여 정확한 무게, 무게 중심, 관로 무게를 고려하기 어렵기 때문에 바이어스(bias)가 되거나 불확실성(uncertainty)이 높은 정보로 반력이 계산된다. 이러한 문제를 해결하기 위해 심층신경망 기반 로봇팔 끝단 반력으로 정확성을 보완하는 연구가 진행되었다.

2. 심층신경망 기반 로봇팔 끝단 반력 추정 연구

로봇팔 끝단 반력을 정밀하기 추정하기 위한 기술로 심층신경망 기반 끝단 반력 추정을 제안하였다. 광섬유 자이로(FOG, fiber optical gyro) 툴의 유량 및 압력, 관절의 차압, 작업기 부근에 설치된 6축 F/T 센서, 엔코더 및 순기구학 기반 관절 위치를 포함해 다양한 센서로부터 수집된 총 27개의 물리량을 입력 데이터로 활용하였다. 심층신경망 모델의 입력 레이어는 CNN 레이어, 시간 종속적인 특징을 학습한 RNN(LSTM) 레이어, 최종 출력 차원인 선형 레이어로 구성되어 있으며, 6축 힘을 예측하는 출력 레이어의 센서 데이터들 중 결과에 대해 민감도가 높은 정보들을 활용하여 최적화된 입력 데이터를 구성하였다. 총 12회에 걸쳐 실험한 동일한 조건의 석고 파쇄 작업 데이터를 584,682개의 파라미터와 gelu 활성화 함수로 구성된 CNN-LSTM 모델을 이용하여 학습하는 연구가 진행되었다[6].

그림 4는 심층신경망 모델 구조를 주요 반력에 대해 입력, 은닉, 출력 레이어로 나타낸 그림이다. 각 출력 데이터에 대해 민감도가 높은 입력 정보는 표 1에 나열되어 있다.

Fig. 4.

Sensor data-based DNN model structure.

Table 1.

Highly sensitive input data from each output of DNN.

심층신경망 기반 반력 추정 방법은 센서 데이터 기반으로 학습 모델을 만들어 학습시킨 결과로 값의 발산이나 외부로부터의 간섭에 강한 견고성을 보이며, 상대적으로 정확한 반력 정보를 제공한다. 하지만 낮은 샘플링 속도(6~7Hz)로 인해 작업 간의 실시간성이 크게 저해되며 학습 데이터가 부족한 환경 및 로봇팔 자세에 따라 추정 성능이 떨어질 수 있다. 이로 인해 햅틱 피드백시 사용자가 높은 이질감을 경험할 수 있다. 이러한 문제를 해결하기 위해 높은 샘플링 속도의 차압 기반 반력을 기반으로 심층신경망 반력 정보를 보정하는 방법을 제안한다.

3. 칼만필터를 이용한 추정 정보 정합

차압 기반 끝단 반력 예측 기술과 심층신경망 기반 끝단 반력 추정 방법의 단점을 보완하여 햅틱 마스터 디바이스의 입력으로 활용하기 위해 두 정보를 칼만 필터(Kalman filter)를 활용하여 정합하였다. 차압 기반 반력 정보는 그림 9~11에서 보이듯이 빠른 측정 주기 대비 낮은 정확도를 가진다. 이는 이전 스텝과 현재 스텝 사이의 힘 차이를 계산하여 추세를 만들고, 이를 예측 단계 제어 입력으로 활용하였다. 또한, 상대적으로 정확도가 높은 심층신경망 기반 반력 정보를 보정 단계의 측정값으로 활용하여 칼만필터 알고리즘을 구성하였다.

칼만필터의 예측(prediction) 단계에서 식 (13)과 같이 차압 센서 데이터를 활용한 로봇팔 끝단 반력의 변화량 정보($$ \mathrm{\Delta }{\widehat{F}}_{P,k}$$)로 빠르게 추정한다. $$ \widehat{F}$$_{𝑘|𝑘−1}는 𝑘 시점에서의 예측된 상태 벡터, 𝐴는 상태 전이 행렬로, 외부 영향을 받지 않는다고 가정하여 6x6 단위 행렬로 정의하였다.

보정(correction) 단계에서 식 (14)와 같이 심층신경망 기반의 반력 정보($$ \widehat{F}$$_{𝐷𝑁𝑁,𝑘})가 업데이트된 경우 이를 활용하여 반력을 보정하고, 업데이트 되지 않은 경우 차압 기반 반력 정보만을 사용하여 현재 단계의 반력 정보($$ \widehat{F}$$_𝑘)를 최종적으로 출력한다. 𝐾_𝑘는 칼만이득, H는 관측행렬을 나타낸다[7].

위 과정을 통해 높은 샘플링 속도를 유지하며 동시에 주요 반력 방향에 대해 비교적 정확한 반력 추정을 달성할 수 있고, 그림 5는 칼만필터 반력 추정 알고리즘을 도식화한 구성도이다.

Fig. 5.

Diagram of the differential pressure-deep neural network force estimation algorithm using Kalman filter.

차압 기반 반력의 낮은 정확도의 문제와 심층신경망 기반 반력의 낮은 샘플링 속도의 문제를 보완한 차압-심층신경망 끝단 반력 추정은 높은 샘플링 속도를 유지하는 동시에 주요 반력 방향에 대해 비교적 정확한 반력 추정을 기대할 수 있다.

1. 실험 조건 및 방법

차압 및 심층신경망 기반 반력 추정 성능과 이 두 정보를 칼만필터를 이용하여 정합했을 때의 반력 추정 성능을 확인하기 위해 그림 6과 같이 육상 환경에서 유압 매니퓰레이터가 장착된 로봇 플랫폼을 활용하였다. 글로벌 기준점 위치에 FOG 센서를, 각 조인트에는 유압 센서를, 매니퓰레이터 끝단에는 F/T 센서를 설치하였다. 또한, HPU (Hydraulic Power Unit) 단에서 출력되는 압력을 이용하여 툴의 압력을 측정하고, 이를 바탕으로 각 센서에서 데이터를 수집할 수 있도록 석고 파쇄 작업 실험 환경을 구성하였다. 실험에서는 로봇팔을 파쇄면에 대해 수직(−z 방향)으로 이동시켜 약 2cm의 수직 파쇄를 수행한 후 수평(−x 방향)으로 약 20cm 이동하며 수평 파쇄를 진행하였다. 이 과정에서 각 센서의 정보와 힘 데이터를 측정하였고, 이를 3개의 반력 추정 모델과 비교하였다.

Fig. 6.

Experimental environment for gypsum crushing work in a ground environment using an underwater robot arm.

석고를 파쇄하는 동안 로봇팔 작업기 부근에 설치된 6축 F/T 센서에서는 3축 힘(𝐹_𝑥, 𝐹_𝑦, 𝐹_𝑧)과 3축 모멘트(𝑀_𝑥, 𝑀_𝑦, 𝑀_𝑧) 정보를 계측하고, 각 관절의 차압, 엔코더를 통한 각도, FOG 센서, 작업기의 유량 및 압력이 실시간으로 계측된다. 앞서 언급한 HILS 환경의 로봇팔 끝단 작업 반력 추정 기술을 위해, 실시간으로 센서에서 계측되는 데이터를 활용하여 차압 기반 반력과 심층신경망 반력을 계산하였으며, 동시에 칼만 필터를 통해 정합함으로써 최종적으로 HILS 햅틱 환경에 적용할 수 있는 알고리즘을 구성하였다.

차압기반 로봇팔 끝단 반력 추정, 심층신경망 기반 끝단 반력 추정, 칼만필터를 이용한 차압-심층신경망 반력 정합을 실시간으로 수행하기 위해 그림 7과 같이 ROS (Robot Operating System) 환경을 구성하고 실제 작업시 얻어지는 다중 센서 정보를 실시간으로 획득하고 계산할 수 있도록 환경을 구성하였다.

Fig. 7.

Configuring the ROS environment for real-time end-tip force estimation.

Fig. 8.

ROS topic and node graph.

알고리즘의 흐름도는 아래와 같다. 먼저 석고 파쇄 작업을 수행할 때 총 27개의 관절의 차압, 엔코더 정보, FOG 센서, 작업기의 유량 및 압력정보를 한꺼번에 수집하는 환경을 구성한다. 수집된 정보를 내 각 관절에서 출력되는 차압 정보와 관절 각도를 이용하여 II. 1절에서 정의한 수식들을 실시간으로 계산하고, 이를 통해 계산된 차압 기반 끝단 반력은 약 100Hz 주기로 예측된다. 심층신경망 기반 끝단 반력 추정은 실제 수중 로봇에 적용되는 NUC13ANKi7 베어본 PC (프로세서: Intel® Core™ i7-1360P, RAM: DDR4-3200 SODIMMx2)를 활용하여, II. 2에서 구성한 학습 모델에 27개의 데이터를 입력함으로써 약 6.5Hz의 주기로 끝단 반력을 추정한다.

차압-심층신경망 정합 칼만필터는 예측 단계에서 차압 기반 반력 추정 모델을 활용하여 힘의 변화량을 예측하고, 보정단계에 심층신경망 기반 반력 계산 결과가 도출시에만 반력정보를 보정해줌으로써 최종적으로 100hz의 주기로 로봇팔 끝단 반력 정보를 출력한다.

파쇄 작업 시 y축으로의 움직임을 고정한 상태에서 수직 방향에 대해 작업을 수행하게 되고, 이에 대한 반력 추정을 확인하기 위해 세 가지 주요 반력(작업기의 진행 방향 𝐹_𝑥, 지면에 수직한 방향 𝐹_𝑧, 작업기 회전과 진행 방향에 따라 발생하는 모멘트 방향 𝑀_𝑦)을 분석하였다. 이를 F/T 센서의 반력 정보를 기준으로 차압-심층신경망 반력 추정 결과와 심층신경망 반력 추정 결과를 비교하여, 차압-심층신경망 반력 추정 방법을 검증하였다.

2. 차압 기반 반력 추정 결과

차압 기반 반력 추정 성능을 확인하기 위해 II. 1절을 바탕으로 추정한 𝐹_𝑥, 𝐹_𝑧, 𝑀_𝑦를 F/T 센서 정보와 비교하였다. 그림 9, 11의 𝐹_𝑥, 𝑀_𝑦 반력 비교 결과를 보면 F/T 센서의 추세를 따르는 것을 확인할 수 있다. 그림 10의 𝐹_𝑧 반력 비교 결과는 z축 방향에 대해 추세를 잘 따르지 못하고, 임펄스(impulse) 구간이 나타나며 반력 정확도가 매우 낮게 추종되는 것을 확인할 수 있다. F/T 센서 정보와 비슷한 샘플링 속도(100~300Hz)로 추정이 가능하지만, 전체적으로 F/T 센서 정보 대비 정확도가 낮은 것을 그래프를 통해 확인할 수 있다.

Fig. 9.

Comparison of 𝐹𝑥 manipulator end-tip reaction force.

Fig. 10.

Comparison of 𝐹𝑧 manipulator end-tip reaction force.

Fig. 11.

Comparison of 𝑀𝑦 manipulator end-tip reaction force.

3. 심층신경망 기반 반력 추정 결과

심층신경망을 활용한 반력 추정은 II. 2절을 바탕으로 센서 데이터를 실시간을 입력 받아 데이터를 처리하였다. 그림 12, 14의 𝐹_𝑥, 𝑀_𝑦 반력 비교 결과를 보면 F/T 센서 정보를 잘 따르는 것을 확인할 수 있다. 그림 13의 𝐹_𝑧 반력 비교 결과는 정확도의 추세는 따르지만 𝐹_𝑥 , 𝑀_𝑦에 비해 정확한 결과가 나타나지 않는 것을 확인할 수 있다. 차압 정보를 활용한 반력에 비해 높은 정확도를 가지지만, 낮은 샘플링 속도로 추정하는 것을 그림 15에서 확인할 수 있다.

Fig. 12.

Comparison of 𝐹𝑥 manipulator end-tip reaction force.

Fig. 13.

Comparison of 𝐹𝑧 manipulator end-tip reaction force.

Fig. 14.

Comparison of 𝑀𝑦 manipulator end-tip reaction force.

Fig. 15.

Comparison of 𝐹𝑥 20~23 seconds.

4. 차압-심층신경망 기반 반력 추정 결과

차압-심층신경망을 활용한 반력 추정은 II. 3절을 바탕으로 차압 정보와 심층신경망 반력을 실시간을 받아 계산하여 그림 16, 17, 18을 그래프로 나타내었다. 심층신경망 반력의 정확도와 유사하면서 더 높은 샘플링 속도로 F/T 센서 반력 정보를 추정하는 것을 확인할 수 있다. 차압 정보와 심층신경망 정보를 칼만필터로 정합할 때 정확도가 높은 심층신경망 반력에 더 신뢰할 수 있도록 공분산 수치를 조정하였다. 이에 따라 𝐹_𝑧 결과도 심층신경망 정보에 더 신뢰하여 반력을 추정하기 때문에 그림 17과 같은 결과가 나타났다. 그림 19는 차압 반력과 심층신경망 반력도 함께 비교하기 위한 그래프이다.

Fig. 16.

Comparison of 𝐹𝑥 manipulator end-tip reaction force.

Fig. 17.

Comparison of 𝐹𝑧 manipulator end-tip reaction force.

Fig. 18.

Comparison of 𝑀𝑦 manipulator end-tip reaction force.

Fig. 19.

Comparison of 𝐹𝑥, 𝐹𝑧, 𝑀𝑦 reaction force.

표 2와 표 3은 피어슨 상관계수, RMS 오차를 이용하여 F/T 센서 반력과의 유사성과 정확도를 비교한 결과이다. 차압기반 반력은 약 0.4 이하의 낮은 피어슨 상관계수와 33.1 이상의 높은 RMS 오차를 보여준다. 차압-심층신경망 반력 추정 결과에서 𝐹_𝑥와 𝑀_𝑦의 정확도는 심층신경망 정보 대비 약 8%, 4.5% 향상되었고, 𝐹_𝑧의 경우 반대로 약 1.2% 감소한 것을 확인하였다. 이는 𝐹_𝑧의 차압 정보에서 이상치가 발생하고, 칼만필터 게인 값이나 중력 보상 모델의 부정확한 파라미터 정보 사용으로 인한 것으로 예상된다. 또한, RMS 오차는 세 가지 주요 반력 모두 감소한 것을 확인하였다. 이로써, 본 논문에서 제안한 차압-심층신경망 기반 반력 추정이 높은 샘플링 속도와 향상된 정확도를 가지는 것을 실험을 통해 검증하였다.

Table 2.

Pearson correlation coefficient comparison.

Table 3.

RMS error comparison.