험난한 지형에서의 강건한 사족보행 제어를 위한 대칭적 파쿠르 학습

강화학습은 MDP로 표현 가능하다. MDP는 〈𝑆, 𝐴, 𝜓, 𝑝, 𝑟〉로 구성되는데, 𝑆는 에이전트의 상태의 집합, 𝐴는 에이전트가 취하는 행동의 집합, 𝜓는 가능한 상태, 행동의 쌍, 𝑝는 특정 상태 𝑠 에서 행동 𝑎 를 하였을 때 다음 상태 𝑠′ 로 전이될 확률의 집합이고 마지막 𝑟 은 에이전트가 상태 𝑠 에서 행동 𝑎를 취했을 때 받는 보상의 집합이다. 대칭성을 활용한 학습에서는 MDP의 상태와 행동을 변환하여 새로운 상태-행동 쌍을 구성한다. 특정 상태에서 행동이 대칭 상태에서도 동일하게 작동하도록 학습하여 정책의 일관성을 유지한다. 이를 위해서는 MDP mapping을 통해 상태, 행동 쌍에 대해서도 각각 변환해주어야 한다. 기존의 상태의 s를 대칭적 상태 𝑓(𝑠)로 변환하고 행동 a를 행동 변환 𝑔_𝑠(𝑎)로 변환한다. 본 연구에서는 로봇의 진행 방향 (x축)의 좌우 대칭 변환을 하여 로봇의 상태 값인 조인트의 각도, 속도 및 행동 𝑎 를 진행 방향 기준으로 대칭 변환시켰다. 이러한 변환을 통해 대칭 상태와 행동을 구성할 수 있으며, 이를 만족시키는 정책은 다음 식을 만족한다.

(1), (2)식은 각각 상태-행동 쌍 (𝑠, 𝑎) 와 그 대칭 쌍 (𝑓(𝑠), 𝑔_𝑠(𝑎))가 같은 전이확률 및 보상 값을 가진다는 것을 의미하고, 이것은 로봇이 훈련 중에 경험하지 못한 상태와 행동에 대해서도 학습이 가능하다는 장점이 있다.

PPO 알고리즘은 강화학습에서 안정적인 정책 학습을 위해 고안된 손실 함수를 사용한다[13]. 정책이 크게 업데이트되는 것을 방지하기 위해 클램핑(clamping)을 적용하여, 안전 범위를 제한한다. 또한 가치 함수 손실과 탐색을 촉진하기 위한 엔트로피 항을 포함하여 학습의 안정과 효율성을 높일 수 있다. 이 3가지 항에 대한 식은 다음과 같이 나타낼 수 있다.

식 (3), (4)는 정책 개선을 유도하면서 과도한 업데이트를 방지하는 surrogate loss 값이고, 여기서 정책 π_θ(𝑎_𝑡|𝑠_𝑡)는 상태 𝑠_𝑡 에서 행동 𝑎_𝑡 를 선택할 확률 분포를 나타내며, 이 확률 분포는 매개변수 θ 에 의해 결정된다. 𝑟_𝑡(θ) 는 과거정책과 새로운 정책의 비율을 매개변수 𝜖 을 통해 조절한다. $$ {\widehat{A}}_t$$ 는 어드밴티지 함수로 특정 상태 𝑠_𝑡, 행동 𝑎_𝑡의 가치 𝑄(𝑠_𝑡, 𝑎_𝑡)가 평균적인 상태에서의 가치 𝑉(𝑠_𝑡)보다 얼마나 더 나은지를 나타낸다. PPO에서는 일반적으로 GAE (Generalized Advantage Estimation) 방법을 통해 어드밴티지 $$ {\widehat{A}}_t$$ 를 추정한다[13]. 식 (5)는 가치 손실 함수로, 상태 가치 𝑉_ω(𝑠_𝑡)와 실제 목표 가치 $$ V_t^{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}$$ 간의 차이를 최소화하는 역할을 하여 정책의 가치를 평가하는 크리틱(critic)이 매개변수 ω에 의해 업데이트되어, 상태의 가치를 정확히 평가할 수 있게 한다. 식 (6)은 정책의 불확실성을 증가시키는 역할을 하여, 에이전트의 탐색(exploration)을 확대시켜 다양한 행동을 시도하도록 한다. 따라서 식 (7)의 PPO 손실함수가 도출되고 이 값을 최대화하는 방향으로 정책이 학습된다.

지금부터는 전 장에 설명했던, PPO에 대칭을 고려한 강화 학습 알고리즘인 symmetric learning에 대해서 설명할 것이다. 이 장에서 설명하는 손실 함수는 대칭 손실 함수를 의미한다. 본 논문에서는 2가지 방법을 통해 기존의 PPO의 결과와 비교하려고 한다. 첫 번째 방법은 MSL, 두 번째 방법은 PSL이다[10-11]. 두 방법의 차이는 액터 손실 함수 $$ L_t^{\mathrm{\pi }}\left(\mathrm{\theta }\right)$$를 구하는 데 있다.

우선 MDP 대칭 변환으로부터 구한 상태-행동 쌍으로부터 대칭 손실 함수(symmetric loss function)를 구할 수 있다.

식 (8)은 대칭 손실 함수를 나타낸 것으로 𝑤_𝜋, 𝑤_𝑉는 각각 정책의 액터(actor)와 크리틱(critic) 대칭 손실 함수의 계수 값이다. $$ L_t^{\mathrm{\pi }}\left(\mathrm{\theta }\right)$$, $$ L_t^V\left(\omega \right)$$는 액터와 크리틱의 대칭 손실 함수로, θ, ω은 각각 액터, 크리틱의 매개변수로 매 스텝마다 업데이트되는 파라미터 값이다. 식 (9)를 보면, mirror symmetric의 액터 손실 함수는 상태-행동 쌍 (𝑠_𝑡, 𝑎_𝑡)으로부터 구한 정책의 값 π_𝜃(𝑠_𝑡)과 상태-행동쌍 (𝑓(𝑠), 𝑔_𝑠(𝑎))으로부터 구한 대칭 변환 정책 𝑔_{𝑓(𝑠𝑡)}(π_𝜃(𝑓(𝑠_𝑡)))의 MSE (Mean Square Error)로 구할 수 있다. 크리틱 손실 함수 $$ L_t^V\left(\mathrm{\omega }\right)$$는 식 (10)을 통해 타겟 가치와 대칭 변환된 가치 함수의 MSE로 구한다.

반면 두 번째 방법인 proximal symmetric은 PPO의 신뢰 구간 개념을 기반으로 하여, 정책이 대칭성을 유지하거나 점진적으로 개선될 수 있도록 학습된다[11]. 식 (11)~(13)을 보면, PSL의 핵심인 대칭 확률 비율 𝑥_𝑡(𝜃)는 이전 정책과 현재 정책의 비율로 정의된다. π_θold( ∙ ∣ 𝑠_𝑡)는 업데이트 이전의 정책을 나타내며, 확률적 행동(stochastic action)이 아닌 결정론적 행동(deterministic action)이다. π_θold(𝑠_𝑡 | 𝜎 = 0)는 이전 시점 정책 분포의 표준편차 𝜎 = 0 일 때의 결정론적 행동이다. 따라서 현재 시점의 정책 업데이트에서 상수가 아닌 값은 오직 π_θ($$ \stackrel{-}{a_t}$$|𝑓(𝑠_𝑡))이며, 최적화되는 매개변수는 θ뿐이다. 대칭 상태 𝑓(𝑠_𝑡)는 실제로 경험하지 못한 가상의 대칭 변환 상태이며, 이는 탐색 상태 𝑠_𝑡를 변환한 값이다. 이러한 방법을 통해 PSL은 기존의 탐색 상태 𝑠_𝑡에 대한 정책을 유지하면서, 대칭 상태에서의 정책 π_θ(𝑓(𝑠_𝑡))만을 조정한다. 또한 이 과정은 클램핑 기법을 사용하여 과도한 업데이트를 방지함으로써 학습의 안정성을 확보할 수 있다.

MSL은 식 (8)에서 나타나듯이, 탐색 상태 𝑠_𝑡와 대칭 상태 𝑓(𝑠_𝑡) 모두에서 정책 π_θ를 동시에 조정하려고 한다. 이 방식은 대부분의 경우에는 적합하지만, 탐색 불균형이 발생하면 문제가 생긴다. 예를 들어 왼쪽 장애물과 오른쪽 장애물을 넘는 경로를 학습하는 상황을 가정해보자. 로봇이 왼쪽으로 경로를 더 많이 탐색한 경우, 왼쪽의 경우에는 충분히 탐색해서 이미 최적화되었을 가능성이 높다. 반면, 오른쪽 경로는 탐색이 부족하여 정책 확률 분포가 최적화되지 않았을 수 있다. 여기서 문제가 발생하는데, 식 (9)를 살펴보면 MSL방법은 탐색 상태 𝑠_𝑡와 대칭 상태 𝑓(𝑠_𝑡)의 정책을 모두 업데이트하려고 하기 때문에, 왼쪽 경로에서 잘 학습된 정책이 오른쪽 경로로 인해 잘못된 방향으로 업데이트될 가능성이 있다. 이로 인해 이미 최적화된 정책 네트워크가 망가질 수 있다. 반면 PSL은 앞서 언급하였듯이, 대칭 상태 𝑓(𝑠_𝑡)에서의 정책 π_θ(𝑓(𝑠_𝑡))만을 조정하며, 탐색 상태에 대한 정책은 그대로 유지된다. 이는 탐색 상태에서의 정책 네트워크를 보호하면서도, 대칭 상태에서의 행동이 탐색 상태와의 일관성을 유지하도록 한다. 결론적으로 로봇이 다양한 방향의 지형에서도 안정적으로 보행할 수 있도록 한다. 기존의 PPO에 대칭 학습법을 고려하게 되면 식 (14)와 같은 형태로 같은 최종 목적 함수가 결정된다.

본 연구에서는 대칭 상태 𝑓(𝑠)를 로봇의 진행방향 축(x축)을 기준으로 구성하였고, 두 가지 대칭 학습 기법을 모두 적용하여 기존보다 빠른 수렴속도, 높은 보상함수 값, 훈련 중에 경험하지 못한 상태에서의 강건함을 확인하였다.

로봇의 상태 값부터 자세하게 살펴보자면, 식 (15)처럼 관측값 𝑜_𝑡가 정의된다

𝜔_𝑡 는 로봇프레임 기준의 각속도이고, 𝜃, 𝜓는 로봇의 roll, pitch 각도를 나타낸다. 그 다음에 나오는 ℎ_𝑡는 현재 로봇과 다음 목표 지점까지의 yaw방향 각도, 𝑞_𝑡, $$ {\dot{q}}_t$$ 는 각각 조인트의 각도와 속도를 의미한다. 𝑎_𝑡−1 는 이전 상태에서의 액션값이고, c는 로봇 컨택 여부를 0,1의 이진수로 나타낸 것이다. 𝑣_𝑡 는 로봇의 선속도를 의미하고 여기서는 이 값을 구할 때, MLP (Multi-Layer Perceptron)로부터 속도를 구하였다[14]. 로봇의 관측값은 일반적으로 선속도 𝑣_𝑡, 각속도 ω_𝑡, 몸의 회전에 해당하는 imu 값, 모터 엔코더로부터 구할 수 있는 조인트 위치 𝑞_𝑡, 속도 $$ {\dot{q}}_t$$ 그리고 이전 스텝에서의 로봇 액션𝑎_𝑡−1 을 쓴다[14]. 하지만 파쿠르의 경우에는 도전적인 (challenging) 태스크이므로 추가적인 정보가 필요하다. 여기서는 로봇의 컨택여부를 추가적인 관측값으로 사용하였다. 또한 로봇의 상태 값이 다음 행동을 하기에 충분한 정보를 제공해야 하기 때문에 주변 지형에 대한 높이 정보를 이용하였다[7].

그림 (2)를 보면 알 수 있듯이, 주변 지형 높이인 𝑚_𝑡 와 로봇의 관측 값 𝑜_𝑡를 결합한 상태 값을 입력으로 받아 액터, 크리틱 네트워크를 통과한다. 최종적으로 액터 네트워크를 거쳐서 로봇의 액션인 𝑎_𝑡 를 구한다. 이 액터 네트워크는 12차원의 액션을 출력해내고, 이 액션값은 조인트의 타겟 (target) 위치 값을 구하는 데 정의된다.

식 (16)을 보면, 𝑞_{𝑛𝑜𝑚𝑖𝑛𝑎𝑙} 은 로봇이 서 있는 초기 위치의 조인트 값이고 α 는 액션에 곱해지는 상수 값이다. 𝑞_𝑑𝑒𝑠로부터 PD제어를 통해 토크 값 τ을 구할 수 있다.

𝐾_𝑝 = 40, 𝐾_𝑑 = 1.0을 사용하였다. 이렇게 최종 토크 값을 추출하는 과정에서 우리는 정책을 symmetric learning 방법으로 업데이트 한다. 이 때, 로봇의 관측 값 및 행동 값을 x축 방향으로 대칭시킨다. 그림 (4)를 보면 대칭 학습 시에는 로봇 조인트의 인덱스가 변환된 것을 확인할 수 있다. 로봇의 앞 왼쪽 다리의 조인트부터 인덱스를 순서대로 매기면 왼쪽 앞다리, 오른쪽 앞다리, 왼쪽 뒷다리, 오른쪽 뒷다리 순서로 부여된다. 이 인덱스 순서를 [0, 1, 2, ⋯ 9, 10, 11] , 총 12개로 지정이 가능하고, 우리는 진행 방향에 대칭을 하기 때문에 이 조인트 인덱스가 오른쪽 앞다리, 왼쪽 앞다리, 오른쪽 뒷다리, 왼쪽 뒷다리 순서로 변환된다. [3,4, 5, ⋯ 6, 7, 8] 순서로 지정이 된다. 또한 roll 방향으로 회전하는 hip 조인트의 경우, 왼쪽과 오른쪽이 대칭 변환되면 회전하는 방향도 +/- 로 반전이 되므로, 대칭성을 유지하기 위해 관측값 𝑜_𝑡에 -1의 배수 (multiplyer)를 곱하여 x축 방향으로 대칭된 관측값 𝑓(𝑜_𝑡)로 변환한다. 이와 유사하게 주변 지형 정보의 높이 값 𝑚_𝑡 에 대응되는 각 y 좌표 또한 x축 대칭 변환을 적용하여 새로운 대칭 지형 정보 𝑚_𝑡,𝑠 를 생성한다. 이렇게 매핑된 상태들은 그림 (2)의 대칭 상태(symmetric state)에 해당하고 대칭 액터-크리틱의 인풋으로 들어가게 된다. 대칭 네트워크는 대칭 변환되기 전의 액터-크리틱의 뉴럴 네트워크와 구조적으로 동일하나, 입력과 출력이 대칭 관계에 따라 적절히 변환된다. 이 대칭 네트워크는 손실함수를 식 (14)와 같이 변형하여 정책을 업데이트한다.

Fig. 4.

State-action set and symmetric state-action set.

다음으로 파쿠르 태스크에서 사용된 보상 함수에 대해 논의하고자 한다. 파쿠르 태스크의 보상함수는 기존의 연구[7]를 기반으로 디자인되었고, 구체적인 구성 요소는 표 (1)에 정리되어 있다. 첫 번째 두 개 항은 reward task 항으로 로봇이 지향되는 방향의 보상함수이다. 여기서는 임의로 로봇 진행 방향에 목표지점(goal point)을 지정하여 로봇이 목표지점을 향하게 직진하여, 빠르게 파쿠르 태스크를 수행하도록 하였다. 첫 번째 goal velocity 함수는 로봇이 goal point 위치를 따라가도록 하는 항이고 두 번째 항인 Yaw velocity은 각 장애물과 로봇 사이의 방향 각도가 최소가 되도록, 즉 방향을 따라가도록 하는 보상 함수이다. 밑에 소개되는 다른 항들 경우에는 로봇이 과도하게 행동하는 것을 방지하는 규제 항으로서, 조금 더 부드러운 모션 및 안전한 모션을 만드는 데 기여한다. 특히, 파쿠르와 같은 행동은 장애물을 넘나드는 모션이 많은데, 지형을 제대로 짚지 못하면, 다리가 빠져버리는 위험한 상황이 나올 수 있다. 따라서 Foot edge 항을 통해, 로봇의 발이 장애물의 edge 근방에 위치해 있지 않고 어느 정도의 거리를 둔 안전범위 내에 존재하도록 한다. 그리고 collision의 보상 함수 스케일을 -10.0의 값으로 설정하여 장애물과의 충돌을 줄이려고 하였다. 또한 학습 시 지형을 커리큘럼으로 학습시켜서, 점차 낮은 레벨의 지형부터 어려운 지형을 학습하도록 하였다. 그림 (3)의 (a)에 해당하는 허들 지형은 [0.1, 0.4] m 로 높이 범위를 지정하여 단계별로 학습시켰고, (b)의 계단 지형은 [0.1, 0.45] m, (c)의 경우에는 최고 기울어진 높이를 [0, 0.25] m로 설정하였다. (d)의 갭이 있는 지형은 [0.1, 0.6] m의 갭의 범위로 두어 커리큘럼 학습을 진행하였다.

Table 1.

Reward function.