공리적 설계 방법을 이용한 시든 잎 자세 검출 시스템 개발

I. 서론

농업에서 작물의 잎과 줄기를 절단하는 작업은 생산성 향상을 위한 필수적인 과정이다. 잎을 절단하여 작물의 상태를 분석하여 수분 공급을 최적화하거나[1], 가지치기를 통해 생육 및 수확량을 관리하거나[2], 병든 잎 제거를 통해 질병 확산을 억제한다[3,4]. 그러나 이러한 절단 작업은 반복적이고 노동 집약적인 특성을 가진다. 따라서 최근에는 로봇 비전(robot vision) 기술을 도입하여 생산 효율을 높이기 위한 연구가 진행되고 있다[5,6]. 특히 비정형 환경에서 로봇이 절단 대상을 정확히 인식하고 절단 자세를 계산하기 위한 기술 개발이 핵심과제로 다뤄지고 있다[7].

로봇을 사용한 잎의 절단 지점 검출 방법은 Mask R-CNN으로 검출한 주요 지점의 최소 외접 사각형을 계산하여 잎의 축방향과 절단 지점을 계산하거나[8,9], YOLO로 검출한 관심 영역과 골격 검출(skeletal detection) 알고리즘으로 검출한 단순화된 잎 형상 정보를 결합하여 절단 지점을 계산하는[10,11], 심층학습(deep learning) 기반 방법과 기하학적 분석 방법이 결합된 복합적인 구조를 가진다. 이러한 복합적 구조는 데이터 전처리, 모델 추론, 후처리 과정 등 다수의 모듈이 상호 의존적으로 작동하는 특성을 가진다. 그러나 다수의 연구가 mAP(mean average precision) 또는 F1-score와 같은 개별 알고리즘 자체의 성능 지표에 집중하여 시스템 수준의 종합적인 평가가 부족하며[12], 복합적인 구조를 가지는 설계안을 검증하지 못하는 한계를 보였다. 따라서 이를 해결하기 위해 시스템의 전체 기능 요구사항을 명확히 정의하고, 각 요구사항이 설계 요소들과 어떻게 체계적으로 연결되는지 검증하기 위한 과학적 설계 구조를 적용하는 것이 필요하다.

본 연구에서는 앞서 제기된 기술적, 방법론적 문제를 해결하기 위한 접근법으로 공리적 설계(axiomatic design) 방법을 적용하는 것을 제안한다[13]. 공리적 설계 방법은 설계 문제를 기능 요구사항(function requirements, FRs), 설계 변수(design parameters, DPs), 공정 변수(process variables, PVs) 등 독립된 도메인 간의 사상(mapping) 과정으로 구조화한다. 또한 독립 공리(independence axiom)와 정보 공리(information axiom)를 기준으로 설계안을 평가하여, 객관적 기준에 따라 설계를 판단할 수 있다. 따라서 본 연구는 잎 자세 추정 알고리즘 개발에 공리적 설계 방법을 적용하여 제안하는 설계안의 독립성을 판단하고, 기존 개별 알고리즘의 성능 지표를 공리적 설계의 정보 공리 관점에서 재검토하여 전체 시스템을 종합적으로 평가한다.

공리적 설계 방법은 컴퓨터 소프트웨어 및 로봇 시스템 설계 분야에서 그 실효성이 확인되었다[14-18]. Oliveira 등과 Mitić 등은 독립 공리를 적용하여 소프트웨어 시스템의 기능 모듈 구성에 독립 공리를 적용하여 구조적 안정성을 확보하였다. 그러나 두 연구 모두 최종 설계안에서 정보 공리를 반영하지 않았다는 한계를 보였다. 이러한 한계를 보완하기 위해 일부 연구에서는 설계 이론을 바탕으로 정보 공리를 재해석하였다. Yang 등은 재활 로봇의 인식 정확도를 성공 확률로 변환하여 정보량을 정량적으로 산출하였고, Bonello 등은 인간-로봇 협동 작업공간 설계에서 감성공학(kansei engineering)을 적용하여 사용자 경험을 정보량으로 변환하였다. 또한 Pecoraro 등은 정보 시스템 설계를 위해 정보량을 맥락적 위험도 지표인 프라이버시 영향(privacy impact assessment)으로 대체한 질적 평가 방법을 제시하였다. 그러나 기존 연구에서 사용된 정보량 해석은 설문 조사나 전문가 평가를 사용하는 등 개별 작업 특성에만 맞춰져 있다는 한계를 존재한다. 따라서 본 연구는 로봇 비전 시스템의 설계안을 평가하기 위한 휴리스틱 정보량 해석을 정성적 정보량(qualitative information content, QIC)으로 정의하고 이를 최소화하는 설계 방식을 제안한다. 또한 설계 행렬을 바탕으로 주요 제어 지점을 선정하고, 불확실성 확산을 방지하는 정보 흐름 제어(information flow control, IFC) 메커니즘을 적용한다.

이를 위해 본 연구는 다음과 같은 목표를 가진다. 먼저 시든 잎 자세 정보를 구하기 위한 FRs-DPs를 정리하고 설계 행렬(design matrix)을 도출하여, 설계 공리를 만족하는 소프트웨어 아키텍처를 체계적으로 구축한다. 다음으로 설계 행렬을 바탕으로 주요 비대각 항(off-diagonal terms)을 도출하고, 해당 제어 지점에서 정보 흐름을 제어하는 IFC 메커니즘을 도입하여 시스템 내부의 불확실성 확산을 방지한다. 마지막으로 제안한 설계안의 정보량을 해석하기 위해 QIC 해석을 정의하고, 이를 기준으로 설계안을 평가하여 설계안의 타당성을 검토한다.

II. 공리적 설계를 이용한 시스템 설계

1. 설계 행렬 도출

공리적 설계는 기능 도메인(functional domain)과 물리적 도메인(physical domain) 간의 사상 과정으로 설계 문제를 구조화한다. 기능 도메인의 FRs는 수식 (1)과 같이 물리적 도메인의 설계 변수 집합(DPs)에 설계 행렬(Design Matrix, [A])을 곱한 결과로 표현된다.

$\[ \left\{FRs\right\}=\left[A\right]\left\{DPs\right\} \]$

(1)

독립 공리를 만족하는 설계는 행렬 [A]가 대각 행렬인 비연성 설계(uncoupled design)와 삼각 행렬인 비연성화 설계(decoupled design)이다. 이 외의 다른 형태의 설계 행렬을 갖는 설계는 연성 설계(coupled design)로 독립 공리를 만족하지 않는 설계를 의미한다. 설계가 완료되면 DPs를 실제로 구현하기 위한 공정 변수 집합(PVs)이 설계 도메인에서 정의된다.

소프트웨어 시스템에서 FR은 사용자가 요구하는 특정 기능이나 동작을 의미하며, DP는 이러한 기능을 구현하는 데이터 구조 또는 데이터 구조를 생성하는 프로그램 코드에 해당한다[19,20]. 소프트웨어의 모듈(Module)은 설계 행렬의 각 행으로 정의되며, 특정 데이터가 DP로 입력되었을 때 대응하는 기능을 FR로 산출하는 역할을 한다. PVs는 DPs를 생성하는 구체적인 공정을 의미하는데, 전통적인 소프트웨어 설계에서는 컴파일러나 서브루틴 등이 이에 해당하였다. 현대의 딥러닝 기반 시스템에서는 딥러닝 모델과 가중치(weights)를 특정 DP를 생성하는 하나의 공정으로 볼 수 있으며, 따라서 이를 PV로 간주할 수 있다.

본 연구에서는 시든 잎 자세 검출 시스템을 공리적 설계 방법에 따라 체계적으로 구축한다. 본 시스템의 FRs는 그림 1과 같은 시스템을 갖는 선행 연구[21]에서 입증된 기술적 필요조건에 근거하여 수립되었다. 해당 연구를 통해, 딥러닝 기반의 2D 특징점 검출과 3D 포인트 클라우드 처리를 결합하는 방법을 통해 잎의 3차원 자세와 절단 지점을 정밀하게 추정할 수 있음을 확인하였다.

Fig. 1.

Overview of the withered leaf pose detection system.

최상위 기능 요구사항(FR0)과 최상위 설계 파라미터(DP0)는 다음과 같다.

FR0 : 시든 잎의 3차원 위치와 자세를 추정한다.
DP0 : RGB-D 카메라, 딥러닝 기반 비전 알고리즘, 매니퓰레이터가 통합된 자동화 시스템.

설계는 사전에 정의된 제약조건을 만족해야 하며 제약조건은 다음과 같다.

C1 : 지연시간 100ms 미만의 실시간으로 동작해야 한다.
C2 : 부분적으로 가려진 잎을 인식할 수 있어야 한다.
C3 : 작업 점의 오차는 5mm 이내여야 한다.

최상위 기능 요구사항(FR0)은 다음과 같이 네 가지 주요 FRs로 분해된다.

FR1 : 시든 잎을 식별한다.
FR2 : 시든 잎의 회전 정보를 계산한다.
FR3 : 시든 잎의 절단 지점을 계산한다.
FR4 : 식별된 정보를 로봇 베이스 좌표계로 출력한다.

각 FRs을 구현하는 DPs는 다음과 같다.

DP1 : 카메라 센서 데이터 기반 시든 잎 검출 시스템.
DP2 : 잎의 기울기 기반 회전 정보를 계산 시스템.
DP3 : 잎-줄기 연결 부위 기반 절단 지점 계산 시스템.
DP4 : Eye-in-hand calibration 결과.

1차 수준 FRs와 DPs 간의 관계는 아래와 같은 삼각 행렬로 구해진다.

$\[ \left\{\begin{array}{cc}\hfill & F{R}_1\hfill \\ \hfill & F{R}_2\hfill \\ \hfill & F{R}_3\hfill \\ \hfill & F{R}_4\hfill \end{array}\right\}=\left[\begin{array}{llll}X& 0& 0& 0\\ X& X& 0& 0\\ X& 0& X& 0\\ 0& X& X& X\end{array}\right]\left\{\begin{array}{cc}\hfill & D{P}_1\hfill \\ \hfill & D{P}_2\hfill \\ \hfill & D{P}_3\hfill \\ \hfill & D{P}_4\hfill \end{array}\right\} \]$

1차 수준의 각 FR-DP 쌍은 더 구체적인 하위 기능으로 분해된다. 먼저 FR1은 다음과 같이 분해된다.

FR11 : 시든 잎 여부를 판단한다.
FR12 : 시든 잎 영역을 기준으로 ID를 부여한다.

이에 대한 DPs는 다음과 같다.

DP11 : Class 추론 결과.
DP12 : Bounding box 추론 결과.

이때 둘의 관계는 아래와 같은 삼각 행렬로 구해진다.

$\[ \left\{\begin{array}{cc}\hfill & F{R}_{11}\hfill \\ \hfill & F{R}_{12}\hfill \end{array}\right\}=\left[\begin{array}{cccc}\hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & 0\hfill \\ \hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & X\hfill \end{array}\right]\left\{\begin{array}{cc}\hfill & D{P}_{11}\hfill \\ \hfill & D{P}_{12}\hfill \end{array}\right\} \]$

다음으로 FR2는 회전 방향을 결정하는 두 개의 좌표축을 계산하는 것으로 분리하였으며, 이를 위해 다음과 같은 세부 FRs로 분해된다.

FR21 : 목표 잎의 표면 정보를 계산한다.
FR22 : 목표 잎의 줄기 방향을 도출한다.

이를 구현하는 DPs와 설계 행렬은 다음과 같다.

DP21 : 잎 내부 영역 포인트 클라우드(point cloud) 집합.
DP22 : 주요 지점 검출 결과 집합.
$\[ \left\{\begin{array}{cc}\hfill & F{R}_{21}\hfill \\ \hfill & F{R}_{22}\hfill \end{array}\right\}=\left[\begin{array}{cccc}\hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & 0\hfill \\ \hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & X\hfill \end{array}\right]\left(\genfrac{}{}{0ex}{}{D{P}_{21}}{D{P}_{22}}\right) \]$

FR3은 정렬된 RGB-D 이미지의 특성을 이용해 절단 지점의 2차원 픽셀 좌표와 깊이를 기반으로 계산하도록 하였으며, 아래와 같이 분해된다.

FR31 : 절단 지점의 깊이 값을 구한다.
FR32 : 절단 지점의 3차원 좌표를 구한다.

이를 구현하는 DPs는 다음과 같고, 설계 행렬은 아래와 같이 삼각 행렬로 구해진다.

DP31 : 잎의 중앙맥(Primary vein) 키포인트 검출 결과.
DP32 : 절단 지점 포인트 클라우드 집합.
$\[ \left\{\begin{array}{cc}\hfill & F{R}_{31}\hfill \\ \hfill & F{R}_{32}\hfill \end{array}\right\}=\left[\begin{array}{cccc}\hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & 0\hfill \\ \hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & X\hfill \end{array}\right]\left\{\begin{array}{cc}\hfill & D{P}_{31}\hfill \\ \hfill & D{P}_{32}\hfill \end{array}\right\} \]$

2차 수준에서 추가 분해가 필요하다고 판단한 FR21과 FR32를 하위 단계로 분해한다. 먼저, FR2에서는 포인트 클라우드 영역을 세분화하고, 표면 정보를 구하는 과정이 필요하다. 따라서 다음과 같이 FRs를 분해한다. 이를 구현하는 DPs와 설계 행렬은 다음과 같다.

FR211 : 잎 내부 영역을 구분한다.
FR212 : 잎 표면의 법선 벡터 방향을 구한다.
DP211 : 잎 외곽 점.
DP212 : 잎 표면 모델.
$\[ \left\{\begin{array}{cc}\hfill & F{R}_{211}\hfill \\ \hfill & F{R}_{212}\hfill \end{array}\right\}=\left[\begin{array}{cccc}\hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & 0\hfill \\ \hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & X\hfill \end{array}\right]\left\{\begin{array}{cc}\hfill & D{P}_{211}\hfill \\ \hfill & D{P}_{212}\hfill \end{array}\right\} \]$

다음으로, FR31은 부정확한 키포인트 추론 결과를 보정하기 위해 추가적인 분해가 필요하다. 따라서 아래와 같이 분해하였으며, 이를 구현하는 DPs와 설계 행렬은 다음과 같다.

FR311 : 1D 깊이 프로파일 그래프를 생성한다.
FR312 : 프로파일 범주에 따라 절단 지점을 보정한다.
DP311 : 잎의 중앙맥 키포인트의 포인트 클라우드 집합.
DP312 : 프로파일 기반 분류 정의.
$\[ \left\{\begin{array}{cc}\hfill & F{R}_{311}\hfill \\ \hfill & F{R}_{312}\hfill \end{array}\right\}=\left[\begin{array}{cccc}\hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & 0\hfill \\ \hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & X\hfill \end{array}\right]\left\{\begin{array}{cc}\hfill & D{P}_{311}\hfill \\ \hfill & D{P}_{312}\hfill \end{array}\right\} \]$

FR312를 구현하기 위해서 FRs를 분해한다. 이를 구현하는 DPs와 설계 행렬은 다음과 같다.

FR3121 : 깊이 프로파일 기반 범주를 분류한다.
FR3122 : 깊이 값을 보간 또는 외삽한다.
DP3121 : 민감도 임계값.
DP3122 : 선형 근사식.
$\[ \left\{\begin{array}{cc}\hfill & F{R}_{3121}\hfill \\ \hfill & F{R}_{3122}\hfill \end{array}\right\}=\left[\begin{array}{cccc}\hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & 0\hfill \\ \hfill & X\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hspace{0.25em}\hfill & \hfill & X\hfill \end{array}\right]\left\{\begin{array}{cc}\hfill & D{P}_{3121}\hfill \\ \hfill & D{P}_{3122}\hfill \end{array}\right\} \]$

분해 완료된 FR과 DP 계층도는 그림 2와 같은 구조를 가지며 회색으로 표시된 노드가 더 이상 분해할 수 없는 시스템의 최하위 리프(leaf)를 의미한다. 도출한 전체 설계 행렬은 그림 3에서 보이는 바와 같이 삼각 행렬 형태를 보인다. 따라서 제안한 설계안은 연성 설계를 회피하고 독립 공리를 만족한다.

Fig. 2.

Hierarchy of FRs and DPs.

Fig. 3.

System design matrix.

2. 소프트웨어 기능 모듈의 구성

설계 행렬을 사용하여 소프트웨어 구조를 구축하기 위해서 각 가지의 최하위 레벨에 있는 리프 FRs-DPs 쌍의 구현을 위해 모듈(Module)을 도출하였다. 총 10개의 리프 모듈을 도출하였으며, 각 모듈의 구체적인 기능은 표 1과 같다.

Table 1.

Definition of system modules.

도출된 모듈을 바탕으로 전체 시스템의 소프트웨어 구조를 순서도(flow diagram)로 표현하면 그림 4와 같다. 전체 시스템 프로세스는 M1 모듈에서 시작하여 M2와 M3 경로로 나뉘어져 독립적으로 처리하고 M4 모듈에서 두 결과를 결합하여 처리한다.

Fig. 4.

System software flow diagram.

3. 설계 행렬 기반 IFC 메커니즘

3.1 IFC 메커니즘과 성질

정보 공리에서 FR을 달성하기 위한 DP와 모듈은 확률 분포로 나타나며, 이에 따라 시스템의 결과가 실패할 가능성이 있다. 특히 비연성화 설계의 소프트웨어 구현에서는 하나의 모듈이 여러 DP로 구현되므로 시스템 성공률에 영향을 끼칠 수 있다. 따라서 이를 방지하기 위해 정보 흐름 제어(information flow control, IFC) 메커니즘을 도입한다.

IFC 메커니즘은 설계 행렬에서 주요 제어 지점을 구하고 제어하는 방법론이다. 공리적 설계의 정보 공리 관점에서 IFC 메커니즘은 설계 영역이 시스템 영역에서 벗어났을 때 정보 흐름을 제어하여 작업 실패로 인한 위험을 사전에 방지한다. 이를 통해 시스템 동작의 정보량을 감소한다.

IFC 메커니즘은 제어 지점 선정, 신뢰도 기반 평가, 정보 흐름 제어로 구성된다. 먼저 제어 지점 선정에서는 설계 행렬에서 1차 수준의 각 모듈에서 선정한 가장 영향력이 큰 설계 변수인 주요 연성 설계 변수를 찾고, 이에 해당하는 모듈을 주요 제어 지점으로 사용한다. 다음으로 신뢰도 기반 평가에서는 각 제어 지점의 매개변수를 사용하여 평가한 신뢰도가 임곗값 기준을 충족하는지 평가한다. 마지막으로 정보 흐름 제어에서는 신뢰도 기반 평가 결과에 따라 정보 흐름을 차단하거나 정보를 보정하여 후속 모듈로 전달한다.

3.2 IFC 메커니즘 적용

본 연구에서는 이전 단계에서 도출한 그림 3의 전체 시스템 설계 행렬에 따라 주요 제어 지점을 표 2와 같이 M11, M212, M3121로 선정하였다.

Table 2.

Modules of key control points.

Fig. 5.

Examples of key points prediction along the primary vein.

첫 번째로, M11에서는 객체 탐지 신뢰도를 기반으로 정보 흐름을 제어한다. YOLO 모델의 추론에서 시든 잎 후보를 식별할 때 산출되는 신뢰도 점수를 정보의 유효성을 판단하는 검증 지표로 사용한다. M11 제어 매개변수는 실험적으로 도출하였으며 값은 0.847이다. 따라서 YOLO 모델 예측의 신뢰도 점수가 임곗값 이하일 경우 정보 흐름을 차단하고 처음부터 절차를 진행한다.

두 번째로, M212에서는 도출된 평면 모델로부터 오차 허용 범위 내의 포인트 클라우드 비율(inlier ratio)을 기반으로 정보 흐름을 제어한다. M212에서는 오차 허용 범위 3mm, 최대 반복 횟수 100회인 RANSAC 평면 적합 알고리즘을 사용하며, 신뢰도의 임곗값은 실험적으로 도출하여 전체 포인트 클라우드의 80%로 설정하였다. 임곗값 이하의 비율을 갖는 평면 모델은 불확실성이 높은 것으로 간주하여, 정보 흐름을 차단한다.

세 번째로, M3121에서는 깊이 프로파일을 결정하는 불연속점 결정 매개변수를 기반으로 정보 흐름을 제어한다. 깊이 프로파일은 키포인트 예측 모델의 추론 결과를 사용한 그림 6과 같은 3가지 경우에 대해서 잎의 종단점(별) - 잎-줄기 연결점(원) - 줄기(사각형)를 연결하는 중앙맥(흰색 선) 위의 깊이 값을 연속적으로 나타낸 것을 의미한다. 불연속점은 깊이가 다른 지점으로 도약하는 점을 의미하며, 오차 허용 범위와 이상치의 연속 길이 임곗값으로 정의된다. 본 연구에서는 불연속점의 오차 허용 범위와 이상치의 연속 길이를 실험적으로 도출하였으며, 오차 허용 범위는 5mm, 이상치의 연속 길이 비율은 전체 샘플링 점 개수의 2.5%로 설정하였다. 분류 별로 사용하는 포인트 클라우드를 다르게 하여 정보를 보정한다.

Fig. 6.

The shape of ellipse template.

4. QIC 기반 정보량 해석

4.1 정보량 검토

공리적 설계에서 정보량은 설계의 생산물과 생산과정에 따른 기능요구와 설계 변수를 성공적으로 얻을 확률을 의미한다. 정보량 I는 수식 2와 같이 FR을 성공적으로 만족시킬 확률 p의 역수에 대수를 취한 것으로 정의된다.

$\[ I={\log }_2\left(\frac{1}{p}\right) \]$

(2)

하지만 복잡한 계층 구조를 가진 시스템에서 정보량을 계산하기 위해서는 모든 예외 상황을 고려해야 하므로 적분 기반 방법 또는 도식적 방법을 사용하여 전체 시스템의 정보량을 계산하는 것은 매우 어렵다[23]. 본 연구에서는 이러한 한계를 극복하기 위해 휴리스틱 정보량을 해석할 수 있는 정성적 정보량(qualitative information content, QIC)를 제안한다.

QIC는 불확실성을 유발하는 설계 특성을 해석하여 설계의 정보량을 평가하는 휴리스틱 척도이다. 두 개 이상의 설계안에 대한 주요 성질들을 해석하여 정보량의 높고 낮음을 평가한다. 전체 시스템 QIC는 수식 3과 같이 QIC_i와 가중치 w_i를 곱한 값의 합으로 구한다.

$\[ QI{C}_{total }=\stackrel{n}{\sum _{i=0}} w_{i}QI{C}_i \]$

(3)

본 연구에서는 로봇 비전 시스템 설계의 특성을 고려하여 사전 가정과 검증 가능성(testability)을 QIC를 평가하는 주요 성질로 선정하였다.

사전 가정은 시스템이 작동하기 위해 사전에 알고 있거나 가정해야 하는 조건을 의미하며 본 연구에서는 사전 형상(shape prior)을 사용한다. 사전 형상의 제약이 많을수록 해의 범위를 제한할 수 있지만, 비정형 객체에 대해서는 사전 형상과 입력 데이터의 괴리가 커져 결과의 불확실성이 증가할 수 있다. 사전 가정의 QIC는 사전 형상의 제약은 식 2차원 형상의 복잡도 엔트로피를 사용한다[26]. 식 4와 같이 전역 거리 엔트로피 $$ C_d^e$$ 와 지역 각도 엔트로피 $$ C_{\angle }^e$$ 와 지각적 매끄러움 P에 가중치 α_i를 각각 곱하여 더한 복잡도 항과 무작위성 계수 (1 + R)의 곱으로 계산한다.

$\[ QI{C}_{prior}=(1+\mathrm{R})({\alpha }_1\min ({\mathrm{C}}_{\mathrm{d}}^{\mathrm{e}},{\mathrm{C}}_{\angle }^{\mathrm{e}})+{\alpha }_2\max ({\mathrm{C}}_{\mathrm{d}}^{\mathrm{e}},{\mathrm{C}}_{\angle }^{\mathrm{e}})+{\alpha }_3\mathrm{P}) \]$

(4)

검증 가능성은 소프트웨어 시스템의 검증 기준을 설정하고 그 기준이 충족되었는지 확인하는 검증을 수행할 수 있는 효과성과 효율성의 정도를 의미한다[24]. 본 연구에서는 검증 가능성을 평가하기 위해 휴리스틱 기반의 지침을 기준으로 적용하였다[25]. 항목별로 우수, 보통, 미흡으로 평가하여 1~3점을 부여하여 종합한다. 검증 가능성의 QIC는 식 5와 같이 계산한 점수 T_actual을 최대 검증 가능성 점수 T_max로 나눈 값에 대수를 취한 것으로 계산한다.

$\[ QI{C}_{test}={\log }_2\left(\frac{T_{\max }}{T_{actual}}\right) \]$

(5)

4.2 정보량 해석 적용

제안하는 시스템의 QIC 분석을 위해 3D 사전 형상을 사용해 잎의 자세와 형상을 도출하는 관련 연구를 참고하여 구성한 알고리즘과 비교한다[27,28]. 베이스라인 알고리즘은 RANSAC 평면 모델과 잎 종단점 방향을 초기 자세로 정하고, 그림 6과 같은 타원 템플릿에 대한 ICP (Iterative Closest Point) 매칭을 통해 자세를 결정한다. 베이스라인과 제안 알고리즘의 사전 가정과 검증 가능성을 비교한다.

사전 형상의 복잡도를 바탕으로 사전 가정 강도를 평가한 결과는 다음과 같다. 복잡도 계산을 위해 베이스라인은 그림 6과 같은 형상의 외곽선 위에 위치한 점 200개를 사용하였고, 제안 알고리즘은 방향 벡터를 나타내는 직선 위의 점 200개를 사용하였다. 베이스라인의 QIC_prior는 0.063, 제안 알고리즘의 QIC_prior는 0.034이므로 제안 알고리즘의 QIC_prior가 더 낮음을 확인하였다.

휴리스틱 기반의 검증 가능성 지침을 기준으로 제안 알고리즘과 베이스라인을 분석하여 표 3과 같이 구하였다. 식 5에 따라 계산한 결과 베이스라인의 QIC_test은 0.848이고, 제안 알고리즘의 QIC_test은 0.363이므로, 제안 가능성의 QIC_test이 더 낮음을 확인하였다.

Table 3.

Comparative testability evaluation.

제안 알고리즘은 베이스라인에 비해 사전 가정과 검증 가능성 모두에서 더 낮은 QIC를 가지므로, 가중치와 상관없이 제안 알고리즘의 QIC가 더 낮다.

III. 실험 및 결과

1. 실험 환경

IFC 메커니즘의 타당성을 검증하고, 베이스라인과 성공률을 비교하여 QIC 해석의 유효성을 확인하기 위해 실험을 수행하였다. 실험에는 Doosan Robotics m1013 매니퓰레이터에 Intel Realsense d435i 카메라를 장착한 eye-in-hand 구성의 로봇 비전 시스템을 사용하였다. 실험 환경은 intel i7-8700k CPU, NVIDIA GTX 1080ti GPU, 32GB RAM을 갖춘 시스템에서 Ubuntu 22.04 운영체제, ROS2 Humble, OpenCV, PCL, Pytorch 2.3.1, CUDA 12.1을 기반으로 구축하였다. 실험에 사용한 영상 데이터에서 RGB 이미지는 1280×720 해상도, 깊이 이미지는 848×480 해상도를 사용하였으며, 깊이 이미지는 RGB 픽셀에 정렬하여 사용하였다.

인공지능 모델의 학습은 Intel i5-14600k CPU, NVIDIA RTX3090 GPU, 64GB RAM 환경에서 pytorch 2.3.1, CUDA 12.1을 사용하여 수행하였다. 학습에는 Realsense d435i 카메라를 사용하여 그림 7 (a)와 같은 모형 화분 4개를 1280×720 해상도로 촬영한 이미지 2,162장을 사용하였고, 검증에는 640×480 해상도로 촬영한 이미지 237장을 사용하였다. 모든 영상은 그림 7 (b)와 같이 잎의 외곽선을 따라 라벨링하여 사용하였다. 모델은 총 100 epoch, 배치 크기(batch size) 8로 학습하였으며 이외의 하이퍼 파라미터는 YOLO-pose와 같게 설정하였다[29].

Fig. 7.

(a) Mock-up pot used for training. (b) An example of annotation.

실험에는 그림 8 (a)와 같은 학습에 사용하지 않은 모형 잎 10장을 모형 화분에 장착하여 사용하였다. IFC 메커니즘 실험에서는 모형 잎 10장을 모두 사용하였고, 사전 가정 영향 실험에서는 모형 잎 10장 중 5장을 사용하였다. 실험에서는 모형 잎이 카메라로부터 300mm에서 400mm 간격을 유지하도록 수동으로 로봇을 이동시켜 인식하도록 하였다. 식물 잎의 작업점 참값은 그림 8 (b)와 같이 측정한 뒤 로봇 기준 좌표계로 변환하여 사용하였으며, 회전 행렬의 참값은 각 측정 세트별 각도를 최소화하는 평균 행렬을 구하여 사용하였다.

Fig. 8.

(a) Mock-up leaves used for the experiment. (b) An example of measuring ground truth.

2. IFC 메커니즘 검증 실험

IFC 메커니즘의 영향을 검증하기 위해 주요 모듈인 법선 벡터 도출 모듈과 깊이 프로파일 기반 분류 모듈에서의 IFC 메커니즘 적용 유무에 따른 세 가지 조건 모든 IFC 메커니즘 적용, M212 IFC 메커니즘 없음, M3121 IFC 메커니즘 없음을 설정하고 작업 정밀도를 측정하여 비교하였다. 실험은 식물 모형 10개를 모형별 4개의 서로 다른 자세로 작업대에 배치하여 진행하였다. 이때 각 고정된 자세에서 세 가지 조건별로 50회씩 반복 측정하여 총 2,000개의 데이터를 기록하였다.

작업 오차는 위치 오차와 회전 오차로 나누어 평가한다. 먼저 위치 오차는 모든 측정에 대해서 식 6과 같이 작업 점 좌표의 참값 p(x_t , y_t, z_t)와 측정값 p(x_m , y_m, z_m) 사이의 유클리드 거리 d_error를 계산하여 구한다. 다음으로 회전 오차는 식 7과 같이 기준 회전 행렬 R_mean과 측정 회전 행렬 R_i의 상대 회전 행렬을 구하고 이 행렬의 대각합 $$ tr\left(R_{mean }^T{R}_i\right)$$를 구하여 계산한 상대 각도 θ_i을 사용한다. 이때 기준 회전 행렬은 식 8과 같이 SO(3)군에서 측정 세트별 데이터 개수 m가 50일 때 상대 각도 θ(R_j,R)의 제곱을 최소로 하는 회전 행렬 R_mean을 사용한다. 따라서 회전 오차는 식 9와 같이 측정 세트 수 n이 40일 때 상대 각도 θ_i에 대한 평균 제곱근 오차 θ_error로 구해진다.

$\[ d_{error }=\sqrt{{(x_m-x_t)}^2+{(y_m-y_t)}^2+{(z_m-z_t)}^2} \]$

(6)

$\[ {\theta }_i=\arccos \left(\frac{tr\left(R_{mean }^T{R}_i\right)-1}{2}\right) \]$

(7)

$\[ R_{mean }=\underset{R\in SO\left(3\right)}{\mathrm{argmin}}\stackrel{\mathrm{m}}{\sum _{\mathrm{j}=1}} {\theta }^2({\mathrm{R}}_{\mathrm{j}},\mathrm{R}) \]$

(8)

$\[ {\theta }_{error }=\sqrt{\frac{1}{n}\stackrel{n}{\sum _{i=1}} {\theta }_i^2} \]$

(9)

먼저 위치 정밀도 측정 실험 결과는 표 4에서 보는 바와 같이 M3121에서의 IFC 메커니즘을 사용하지 않은 조건에서 평균 오차가 2.929mm로 모든 IFC 메커니즘을 적용한 경우보다 약 10% 증가하였으며, 표준편차는 3.125mm로 약 1.5배 증가하였다. 반면 M212에서의 IFC 메커니즘을 적용하지 않은 조건에서 발생한 오차는 모든 IFC 메커니즘을 적용한 경우와 0.03mm의 근소한 차이가 발생하였다. 특히 그림 9(a)에서 보이는 바와 같이 빨간색 선으로 표시된 중간값은 모든 조건에서 비슷한 값을 나타내지만, M3121에서의 IFC 메커니즘을 적용하지 않은 조건에서는 다른 조건에 비해 outlier가 다수 발생하여 빨간색 x로 표시된 평균 오차가 증가한 것을 확인할 수 있다. 따라서 M3121에서 작업 점 픽셀 좌표 이탈을 보정하지 못한 경우 오차가 다음 모듈로 전파되어 최종 결과에 유의미한 영향을 끼치며, M3121에서의 IFC 메커니즘을 적용하여 오차를 감소할 수 있음을 확인하였다.

Table 4.

Position Error depending on the using IFC mechanism.

Fig. 9.

(a) Position error box plot. (b) Rotation error box plot.

다음으로 회전 정밀도 측정 실험 결과는 표 5에서 보는 바와 같이 M212에서의 IFC 메커니즘을 사용하지 않은 조건에서 평균 오차가 1.768°로 모든 IFC 메커니즘을 적용한 경우보다 약 14% 증가하였으며 표준편차는 1.235°로 약 75% 증가하였다. M3121에서의 IFC 메커니즘을 적용하지 않은 조건에서는 모든 IFC 메커니즘을 적용한 조건과 5% 이내의 비슷한 차이가 발생하였다. 그림 9(b)에서 보이는 바와 같이 모든 IFC를 적용한 조건에서와 M3121 IFC를 적용한 조건에서 중간값과 평균값 모두 유사하지만, M212의 IFC 메커니즘을 적용하지 않은 조건에서는 상자의 길이로 나타나는 사분위 범위가 더 길고 이상치 또한 발생하였다. 따라서 M212에서의 IFC 메커니즘을 적용하지 않은 조건에서 회전 행렬의 분산이 커져 전체적인 회전 값 추정의 불확실성이 증가하며, M212에서의 IFC 메커니즘을 통해 최종 결과의 불확실성을 감소시킬 수 있다는 것을 확인하였다.

Table 5.

Rotation Error depending on the using IFC mechanism.

3. QIC 검증 실험

QIC 기반 정보량 해석을 검증하기 위해 제안 알고리즘과 본문에서 정의한 ICP 기반의 베이스라인 알고리즘 두 가지 조건을 설정하고 조건 별 작업 성공률을 비교하였다. 정보량은 시스템 전체 성공률로 나타나므로, 전체 작업 성공률을 비교하여 QIC 기반 정보량 해석을 간접적으로 검증한다. 그림 10(a)와 같이 잎의 가려짐이 없는 환경과 그림 10(b)와 같이 잎이 가려진 환경 두 가지 환경에 대해 모두 측정하여 비교하였다. 이때 가려짐이 있는 환경은 영상을 기준으로 가려진 영역의 비율이 20% 이내인 경우를 의미한다. 작업 성공률은 선행 연구에서 정의된 것과 같이 측정 위치와 참값의 거리 오차가 5mm 이내일 때를 성공으로 기록하였다[22]. 실험은 환경 별로 식물 모형 5개를 모형별 6개의 서로 다른 자세로 작업대에 배치하여 진행하였다. 이때 각 고정된 자세에서 조건별로 20회씩 반복 측정하여 두 환경에서 각각 600세트의 데이터를 기록하였다.

Fig. 10.

(a) Non-occluded environment. (b) occluded environment.

결과는 표 6에서 보는 바와 같이 제안 알고리즘이 베이스라인 알고리즘에 비해 높은 성공률이 나타났다. 가려짐이 없는 환경에서 제안 알고리즘의 작업 성공률은 91.83%로 베이스라인 알고리즘의 작업 성공률보다 약 67% 높은 성공률을 나타내고, 가려짐이 있는 환경에서는 제안 알고리즘의 작업 성공률 86.33%로 베이스라인의 작업 성공률보다 약 4.4배 높은 성공률을 나타낸다. 특히 제안 알고리즘은 가려짐이 없는 환경에 비해 가려짐이 발생한 비정형 환경에서 성공률이 약 5.9% 감소하였으나 베이스라인 알고리즘은 성공률이 약 64% 감소하였다. 따라서 약한 사전 가정을 가진 제안 알고리즘은 고정된 형태의 강한 사전 가정을 가진 베이스라인에 비해 전반적으로 높은 성능을 나타내며, 특히 비정형 환경에서 더 강건한 성능을 나타내는 것으로 나타났다. 따라서 제안 알고리즘이 더 낮은 정보량을 가지는 QIC 기반 정보량 해석은 타당하다.

Table 6.

Comparison of task success rate with the baseline.

VI. 결론

기존 잎 절단 지점 검출 시스템은 심층 학습 기반 검출과 기하학적 분석이 결합된 복합 구조로, 모듈 간 상호 의존성이 높아 정보 흐름을 제어할 필요가 있었다. 또한 시스템 평가에서 개별 알고리즘의 성능 지표에만 의존하여 시스템 전체의 불확실성을 고려한 통합적 평가가 미흡하였다. 따라서 본 연구는 시든 잎 절단 지점 검출 시스템 설계에 공리적 설계를 적용하여 기능 요구사항과 설계 변수의 구조적 관계를 체계적으로 정의하고, 통해 연성 설계를 회피한 비연성화 설계를 도출하였다. 또한 설계 행렬을 기반으로 주요 제어 지점을 도출하여 계층 구조 시스템의 정보 흐름을 제어할 수 있는 설계 체계를 구축하였으며, 시스템의 정보량을 정성적으로 평가하기 위한 평가 체계를 도입하였다.

제안한 설계안은 FRs–DPs를 4차 수준까지 분해하여 총 10쌍의 리프 모듈을 정의하였으며, 설계 행렬을 기반으로 주요 연성 설계 변수에 대응하는 IFC 메커니즘을 제안하였다. 주요 제어 모듈(M11, M212, M3121)에 실험적으로 도출한 신뢰도 판단 기준을 적용한 결과 IFC를 적용하지 않은 조건에 비해 평균 거리 오차는 약 9.7%, 회전 오차는 약 12% 감소하였고, 표준편차는 각각 61%와 43% 감소하였다. 또한 설계의 정보량을 휴리스틱으로 해석하여 사전 가정이 약하고 검증 가능성이 높을수록 정보량을 줄일 수 있다는 QIC 개념을 도입하고 이를 실험적으로 입증하였다. 특히 ICP 기반 베이스라인과의 비교 결과 제안 알고리즘은 비정형 환경에서 약 4.4배 높은 성공률을 달성하여 강건성과 신뢰성을 확보하였음을 확인하였다.

본 연구는 공리적 설계의 설계 행렬을 독립 공리 판단 도구에서 시스템의 불확실성 제어 구조로 확장하였다는 점에서 의의가 있다. 제안한 IFC 메커니즘은 설계 행렬이 정의된 모든 시스템에 적용할 수 있다. 따라서 IFC 메커니즘을 통해 로봇 비전 시스템뿐 아니라 일반 소프트웨어 설계, 제조 공정, 자율주행과 같은 계층 구조 시스템의 안정성을 향상할 수 있다. 또한 QIC 기반의 정보량 해석은 정보량에 영향을 주는 성질을 분석하여 정보량의 정량적 계산이 어려운 계층 구조 시스템에서 공리적 설계의 정보 공리를 실질적으로 적용할 수 있는 방법론적 근거를 제공하였다.

그러나 본 연구는 몇 가지 한계가 존재한다. 먼저 식물 모형 기반의 실험으로 실제 환경의 조명 변화나 물리적 다양성이 충분히 반영되지 못하였다. 다음으로 IFC 메커니즘이 단순한 임곗값 기반으로 동작하므로 환경 변화에 대응하는 것이 어렵다. 마지막으로, QIC 평가를 위한 성질이 사전 가정과 검증 가능성에 한정되어 있으며 QIC 결과가 정성적 해석에 의존하는 한계가 있다.

따라서 향후 연구에서는 QIC의 평가 속성을 계산 복잡도, 데이터 다양성, 처리 지연 등으로 확장하고, 점수 기반 메트릭을 사용하여 정량적 정보량 분석이 가능한 체계를 구축하고, IFC 메커니즘에서 환경 변화에 적응하는 동적 메커니즘을 적용하여 설계 신뢰성을 높일 계획이다.

Acknowledgments

본 연구는 서울과학기술대학교 교내연구비 지원으로 수행되었습니다.

REFERENCES

• M. Campbell, A. Dechemi, and K. Karydis, “An integrated actuation-perception framework for robotic leaf retrieval: Detection, localization, and cutting,” IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2022, pp. 9210-9216. [https://doi.org/10.1109/IROS47612.2022.9981118]
• D. Borrenpohl, “Automated pruning decisions in dormant sweet cherry canopies using instance segmentation,” Computers and Electronics in Agriculture, vol. 207, p. 107716, 2023. [https://doi.org/10.1016/j.compag.2023.107716]
• M. Chillet, B. Cordenunsi, and F. Castelan, “Necrotic leaf removal, a key component of integrated management of Mycosphaerella leaf spot diseases to improve the quality of banana: The case of Sigatoka disease,” Fruits, vol. 68, no. 4, pp. 271-277, 2013. [https://doi.org/10.1051/fruits/2013073]
• E.J. van Henten, “An autonomous robot for de-leafing cucumber plants grown in a high-wire cultivation system,” in Acta Horticulturae, vol. 94, no. 3, pp. 317-323, 2006. [https://doi.org/10.1016/j.biosystemseng.2006.03.005]
• Y. Tang, J. Chen, S. Wang, Y. Luo, X. Li, Y. Lian, and X. Zou, “Recognition and localization methods for vision-based fruit picking robots: A review,” Frontiers in Plant Science, vol. 11, p. 510, May 2020. [https://doi.org/10.3389/fpls.2020.00510]
• J. Paek, K. Park, M. Kim, C. Yang, K. Kwon, K. Kim, Y, and K. Lee, “Development of real-time female flower localization for automated pollination of oriental melon.” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 30, no.11, 1227-1236, 2024. [https://doi.org/10.5302/J.ICROS.2024.24.0199]
• Z. Wang, Y. Xun, Y. Wang, and Q. Yang, “Review of smart robots for fruit and vegetable picking in agriculture,” International Journal of Agricultural and Biological Engineering, vol. 15, no. 1, pp. 33-54, Jan. 2022. [https://doi.org/10.25165/j.ijabe.20221501.7232]
• T. Wang, K. Zhang, W. Zhang, R. Wang, S. Wan, and Y. Rao, “Tea picking point detection and location based on Mask-R-CNN,” Information Processing in Agriculture, vol. 10, no. 2, pp. 267-275, June 2023. [https://doi.org/10.1016/j.inpa.2021.12.004]
• L. Yan, J. Wu, B. Lin, M. Xu, X. Zhang, B. Zhao, C. Tayor, and Y. Chen, “Identification and picking point positioning of tender tea shoots based on MR3P-TS model,” Frontiers in Plant Science, vol. 13, p. 962391, Aug. 2022. [https://doi.org/10.3389/fpls.2022.962391]
• C. Chen, J. Lu, M. Zhou, J. Yi, M. Liao, and Z. Gao, “A YOLOv3-based computer vision system for identification of tea buds and the picking point,” Computers and Electronics in Agriculture, vol. 198, p. 107116, 2022. [https://doi.org/10.1016/j.compag.2022.107116]
• K. Luo, F. Zhang, X. Cao, J. Wu, D. Qin, D. Wang, Y. Li, H. Chen, and H. Chen, “Continuous identification of the tea shoot tip and accurate positioning of picking points for a harvesting from standard plantations,” Frontiers in Plant Science, vol. 14, p. 1211279, Oct. 2023. [https://doi.org/10.3389/fpls.2023.1211279]
• H. Wang, Y. Yang, Y. Zhang, Y. Mi, and J. Wu, “A review on the application of computer vision and machine learning in the tea industry,” Frontiers in Sustainable Food Systems, vol. 7, p. 1172543, Apr. 2023. [https://doi.org/10.3389/fsufs.2023.1172543]
• N. P. Suh, The Principles of Design, Oxford University Press, New York, 1990.
• L. E. S. Oliveira and R. A. Alvares, “Axiomatic design applied to the development of a system for monitoring and teleoperation of a CNC machine through the internet,” Procedia CIRP, vol. 53, pp. 198-205, 2016. [https://doi.org/10.1016/j.procir.2016.06.099]
• M. Mitić, Z. Miljković, and B. Babić, “Empirical control system development for intelligent mobile robot based on the elements of the reinforcement machine learning and axiomatic design theory,” Faculty of Mechanical Engineering Transactions, vol. 39, no. 1, pp. 1-8, 2011.
• T. Yang, X. Gao, and F. Dai, “New hybrid AD methodology for minimizing the total amount of information content: A case study of rehabilitation robot design,” Chinese Journal of Mechanical Engineering, vol. 33, p. 86, 2020. [https://doi.org/10.1186/s10033-020-00511-w]
• A. Bonello, C. A. Brown, E. Francalanza, M. V. Gauci, and P. Refalo, “A novel human-centred approach using Axiomatic Design and Kansei engineering for designing physically and cognitively safe human-robot collaborative workstations,” Production Manufacturing Research, vol. 13, no. 1, p. 2508451, 2025. [https://doi.org/10.1080/21693277.2025.2508451]
• F. Pecoraro, E. Pourabbas, F. Rolli, and C. Parretti, “Digitally sustainable information systems in axiomatic design,” Sustainability, vol. 14, no. 5, p. 2598, 2022. [https://doi.org/10.3390/su14052598]
• N. P. Suh, Axiomatic Design: Advances and Applications, Oxford University Press, New York, 2001, Chapter 5, pp. 239-298.
• S. J. Kim, N. P. Suh, and S.-K. Kim, “Design of software systems based on axiomatic design,” Annals of the CIRP, vol. 40, no. 1, pp. 165-170, 1991. [https://doi.org/10.1016/S0007-8506(07)61959-3]
• B. Kang, H. Jung, and J. Kim, “Development of a method for detecting cutting points of wilted leaves using 2D image keypoints and 3D point cloud,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 30, no. 11, pp. 1237-1244, Nov. 2024. [https://doi.org/10.5302/J.ICROS.2024.24.0206]
• N. Aharon, R. Orfaig, and B.-Z. Bobrovsky, “BoT-SORT: Robust associations multi-pedestrian tracking,” arXiv preprint arXiv:2206.14651, , 2022.
• D. D. Frey, E. Jahangir, and F. Engelhardt, “Computing the information content of decoupled designs,” Research in Engineering Design, vol. 12, pp. 90-102, 2000. [https://doi.org/10.1007/s001630050025]
• ISO/IEC, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models, ISO/IEC 25010:2011, International Organization for Standardization, Geneva, Switzerland, 2011.
• V. Garousi, M. Felderer, and F. N. Kılıçaslan, “A survey on software testability,” Information and Software Technology, vol. 108, pp. 35-64, April 2019. [https://doi.org/10.1016/j.infsof.2018.12.003]
• Y. Chen, and H. Sundaram. “Estimating complexity of 2D shapes.” 2005 IEEE 7th Workshop on Multimedia Signal Processing, 2005, pp. 1-4. [https://doi.org/10.1109/MMSP.2005.248668]
• G. Chaurasia and P. Beardsley, “Editable parametric dense foliage from 3D capture,” Proc. of the IEEE International Conference on Computer Vision (ICCV), Venice, Italy, Oct. 2017, pp. 5315-5324 [https://doi.org/10.1109/ICCV.2017.567]
• E. Marks, F. Magistri, and C. Stachniss, “Precise 3D reconstruction of plants from UAV imagery combining bundle adjustment and template matching,” Proc. of the IEEE International Conference on Robotics and Automation (ICRA), 2022, pp. 2259-2265. [https://doi.org/10.1109/ICRA46639.2022.9811358]
• D. Maji, S. Nagori, M. Mathew, and D. Poddar, “YOLO-Pose: Enhancing YOLO for multi person pose estimation using object keypoint similarity loss,” Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Jun. 2022, pp. 2636-2645 [https://doi.org/10.1109/CVPRW56347.2022.00297]