
스캐닝 소나의 센서 특성을 반영한 해저 구조 대응점 기반 영상 정합
Copyright© ICROS 2026
Abstract
The accurate registration of scanning sonar images is essential for underwater navigation and mapping, especially in environments where navigation sensors such as doppler velocity log or digital compasses are unreliable. Conventional sonar image registration methods often rely on navigation data or brightness-based keypoints, which are highly sensitive to intensity attenuation, reflection nonuniformity, and acoustic shadows, resulting in unstable correspondence under real underwater conditions. To overcome these limitations, this study proposes a structure-based registration algorithm reflecting the sensor characteristics of scanning sonar. The proposed method extracts structurally consistent feature points using azimuthal peak-response sampling and selects stable anchor points through multiscale accumulation. An uncertainty-weighted triplet structural hash descriptor is then constructed to model geometric consistency while suppressing unreliable correspondences. Reliable inlier pairs are identified without relying on any navigation data using k-dimensional tree based nearest neighbor search and mutual-consistency filtering. the experimental results demonstrate that the proposed method achieves a mean registration error of 4.6 pixels in translation and 0.29 °in rotation. These results confirm that the proposed algorithm can robustly align sonar images even under severe intensity distortions and shadow regions, providing a foundation for structure-based underwater image registration that reflects sonar sensor characteristics.
Keywords:
sonar image, structure-based registration, sensor characteristics, underwater robot, image mosaicking, image matchingI. 서론
해양 탐사, 수중 구조물 점검, 기뢰 탐색 등 다양한 수중 임무의 복잡성이 증가함에 따라, 사람이 직접 수행하기 어려운 환경과 작업을 대신해 줄 자율 무인 해저로봇(AUV, Autonomous Underwater Vehicle)과 다관절 해저 보행 로봇에 대한 관심도가 높아지고 있다[1,2]. 이 중에서도 다관절 해저 보행 로봇은 기존의 프로펠러 추진식 수중 로봇으로는 수행이 어려운 강조류 및 악시계(low-visibility) 환경에서 다음과 같은 이유로 대안적인 수중 운용 플랫폼으로 주목받고 있다. 첫째, 해저에 밀착하여 자세를 제어함으로써 조류력을 이용해 안정적으로 이동할 수 있다. 둘째, 조류 속에서 자세 동요가 적어, 안정된 자세를 바탕으로 고품질의 초음파 영상을 취득할 수 있다. 이러한 특성은 강조류 환경에서 부유물에 의한 악시계 조건에서도 기뢰 탐색과 같은 수중 특수 임무를 수행하는 데 중요한 이점을 제공한다. 이에 따라 국내에서도 그림 1과 같은 다관절 해저 보행 로봇의 개발이 활발히 이루어지고 있다[3-6]. 다만, 수중 특수 임무를 수행하기 위해서는 고정밀 위치 추정 및 자세 제어가 필수적인데, 수중 환경에서는 서버와 통신하여 위치, 자세 제어를 하는 것에 제약이 있다. 이를 위해 해당 로봇(CR200)은 다양한 항법 센서와 영상 센서를 탑재하여 융합 항법 정보를 취득한다. 항법 센서에는 IMU (Inertial Measurement Unit), DVL (Doppler Velocity Log), Digital Compass, SVS (Sound Velocity Sensor), GPS (Global Positioning System), 그리고 USBL (Ultra-Short Baseline) 등이 포함되며, 영상 센서로는 스캐닝 소나(sector scanning sonar)가 있다. 스캐닝 소나(SONAR, Sound Navigation And Ranging)는 악시계 환경에서도 음향 반사 강도(intensity) 분포를 이용해 해저 구조물의 형상을 영상화할 수 있는 장비로, 해저 지형 인식과 영상 정합의 주요 센서로 활용된다[7-9]. 본 연구에서는 이러한 스캐닝 소나 영상의 특성을 반영하여, 해저 구조 대응점을 기반으로 하는 강인한 정합 알고리즘을 제안한다.
기존의 소나 영상 정합 연구들은 대부분 음향 반사 강도 즉, 소나 영상의 밝기값에 의존하는 방식으로 수행되어 왔다. 이러한 영상 밝기 기반 키포인트(keypoint) 검출기에는 대표적으로 SIFT (Scale-Invariant Feature Transform)와 SURF (Speeded Up Robust Features) 알고리즘이 있다. 이들은 광학 영상에서 우수한 성능을 보이지만, 소나 영상에서는 다음과 같은 특성으로 인해 성능이 저하된다. 첫째, 거리 감쇠 현상으로 인해 구조물의 재질이 아닌, 거리 차이만으로 반사 강도가 달라지는 문제가 발생한다. 둘째, 같은 구조물이라도 입사각, 재질, 표면 거칠기, 음파의 산란, 다중 경로 반사 등에 따라 반사 세기가 공간적으로 일정하지 않게 나타나는 반사 강도 불균일성(intensity inhomogeneity)이 존재한다. 셋째, 소나 영상은 송수신체가 곧 광원 역할을 하기 때문에, 음파 전달 경로상에 강한 반사체가 존재할 경우 그 뒤 영역에 음영 영역(shadow region)이 발생하여 정보가 소실된다. 이러한 요인으로 인해 동일한 구조물이 존재하는 소나 영상들 사이에서도 추출되는 특징점(feature)의 형태가 달라지거나, 특징 자체가 편향되게 검출되는 문제가 발생한다. 즉, 소나 영상의 밝기값은 구조적 정보와 직접적으로 대응되지 않으며, 밝기 기반 정합은 근본적인 안정성 한계를 가진다[10-12].
이러한 밝기 기반 정합의 한계를 극복하기 위해, 최근에는 딥러닝 기반 특징 추출을 활용한 소나 영상 매칭 연구들도 시도되고 있다[10]. 딥러닝 기반 방법은 영상의 비선형적인 밝기 변화에 대해 일정 수준의 강인성을 확보할 수 있다는 장점을 가지며, 학습 데이터를 기반으로 복잡한 강도 변형 패턴을 간접적으로 모델링할 수 있다. 그러나 이러한 접근법은 대량의 학습 데이터에 대한 의존도가 높고, 학습에 사용되지 않은 환경이나 센서 조건 변화에 대해 일반화 성능이 저하될 가능성이 존재한다. 특히, 소나 영상은 센서의 관측 기하, 음향 산란 특성, 그리고 구조물에 의해 형성되는 음영 영역이 영상 형상에 직접적인 영향을 미치기 때문에, 영상 유사도 학습만으로 이러한 요인을 반영하기에는 한계가 있다. 또한 딥러닝 기반의 접근 방식은 실제 정합 과정에서 어떤 구조적 요소가 대응되었는지에 대한 해석이 어렵다는 제약이 존재한다.
기존의 밝기 기반 정합과 딥러닝 기반의 한계를 보완하기 위해 최근 연구에서는 항법 센서로부터 취득한 데이터를 보조적으로 활용하는 ICP (Iterative Closest Point) 정합 방법이 제안되었다[13]. 제안하는 방법[13]은 항법 데이터를 이용해 두 영상 간 중첩 영역을 사전에 추정하고, 그 영역 내의 특징점들만 ICP 알고리즘을 적용하여 영상 정합을 수행한다. 이 방법은 ICP 알고리즘 적용 전, 중첩 영역을 통해 이상치(outlier)를 제거하여 정합 품질을 높여준다는 장점이 있다. 그러나 항법 정보의 오차가 누적되거나 센서 노이즈로 영상 품질이 저하되면 ICP의 수렴이 잘못된 지역 최솟값(local minimal)으로 수렴하여 정합 신뢰도가 저하되는 한계를 가진다. 또 다른 최근 연구에서는 밝기 정보의 불균일성을 보완하기 위해 영상 내 관심영역(ROI, Region of Interest) 간의 상대적 거리와 방향 관계를 기술하는 토폴로지컬 디스크립터(topological descriptor) 기반 접근법이 제안되었다[14]. 이 접근법은 ROI 간 구조적 관계를 기술함으로써 밝기나 항법 데이터에 직접 의존하지 않고 대응쌍을 탐색할 수 있다는 장점이 있다. 그러나 실제 소나 영상에서는 반사 강도 불균일성과 음영 영역에 의한 ROI 분절 현상이 빈번하게 발생하여 ROI 간 위상 관계가 불안정해진다.
본 연구에서는 스캐닝 소나의 센서 특성을 고려한 전처리와 해저 구조물의 상호 대응되는 특징점을 기반으로 하는 정합 절차를 제안한다. 제안하는 기법은 우선, 단계별로 가우시안 차영상(DoG, Difference of Gaussian) 층을 생성하여 저주파 반사 잡음을 제거한 상태의 영상에서 방위각(azimuth) 방향의 극값을 추출하고, 이를 누적하여 구조적으로 안정된 기준점(anchor point)을 선별한다. 이후 삼점(triplet) 기반 구조 해시(hash) 기술자를 생성하여 두 영상 간의 대응 구조를 효율적으로 탐색하고, 상호 대응 최적 쌍 산출(mutual-best filtering)과정을 통해 잘못된 대응점을 제거한다. 즉, 방위 구조 누적으로 구조물 간의 위상 관계를 안정화하고, 상호 일관된 대응점 탐색으로 항법 보조 없이도 이상치를 억제하여, 정합의 신뢰성과 안정성을 동시에 향상시킨다. 또한, 제안하는 방법은 소나 영상 정합 과정 중 다음과 같은 장점을 가진다.
- 1) 전처리 효율성: median filter의 성능-연산시간에 대한 정성적인 평가를 통해 최적 분기점 제시
- 2) 매칭 이상치 억제 기능: 상호 대응이 일관된 구조 대응점만 사용하기 때문에 항법 없이 이상치 억제 가능
- 3) 밝기·음영 변화에 대한 강인성: 방사 밝기 안정화와 방위 구조 누적 과정을 통해 밝기 변화와 음영 영역에 영향을 받지 않고 구조물의 윤곽 검출이 가능
- 4) 알고리즘 경량화: 구조 기술자를 통해 기존[13,14] 대비 불필요한 매칭 연산은 감축하고, 정합 성능은 유지
다음의 II장과 III장에서는 모의실험을 통해 항법 센서 보조가 불가능한 환경에서 스캐닝 소나의 방사형 감쇠 및 반사 강도 특성을 고려한 구조 대응점 기반의 제안 방법이 안정적으로 소나 영상 정합을 수행함을 입증한다.
II. 제안하는 알고리즘
1. 스캐닝 소나 영상 전처리(Image Preprocessing)
수중 스캐닝 소나 영상은 밝기 분포가 센서의 거리 감쇠와 반사 특성에 따라 비선형적으로 왜곡된다. 따라서 센서의 거리 감쇠와 반사 강도 불균일성을 보정하고, 노이즈를 억제하면서 구조 정보를 보존하기 위한 전처리 과정이 필요하다. 본 연구에서는 그림 2-(a)의 원본 소나 영상에 대해 대비 제한 적응 히스토그램 평활화(CLAHE, Contrast Limited Adaptive Histogram Equalization)를 적용하여 지역적 대비를 향상시키고, 감마 보정(gamma correction)을 통해 거리 감쇠에 따른 비선형 밝기 왜곡을 완화하며, 쌍방 필터(bilateral filter)로 반사 경계의 세부 구조를 유지한 채 잔류 노이즈를 억제하였다. 이 과정을 거친 영상은 그림 2-(b)와 같이 향상된 밝기 균일성과 구조적 선명도를 보인다[15]. 이후, 중간값 필터(median filter)를 반복 적용하여 고주파 점 잡음을 제거하였다. 중간값 필터는 구조적 특성상 반복 적용 시 필터링 효과가 증가하는데, 그림 3-(a)의 영상에 50회 반복 적용한 결과(그림 3-(b))에서 점 잡음이 효과적으로 제거된 것을 보고 확인할 수 있었다. 그러나 반복 횟수가 과도해질 경우 증가된 연산량에 비해 시각적 개선 효과는 제한적이다. 그림 4의 상대 변화율 수렴곡선은 1-3회에서 급격한 변화율 감소가 나타나며, 이후 점차 안정화된다. 이에 따라, 본 연구에서는 4회 반복 시점을 연산 효율성과 연산 성능이 분기되는 최적 지점으로 선정하였다.
Sonar image enhancement with CLAHE, gamma correction and bilateral filter. (a) original. (b) enhanced image.
2. 방사 밝기 안정화(Radiometric Intensity Filtering)
소나 영상은 거리 감쇠와 음향 반사 특성에 따라 배경의 밝기가 비균일하게 분포하며, 이로 인해 구조물의 실제 형태가 저주파 성분에 의해 넓게 퍼져 보이는 문제가 발생한다. 이러한 저주파 성분을 억제하고 구조물의 경계 및 형태 대비를 강화하기 위해, 영상의 2차 미분을 기반으로 한 LoG(Laplacian of Gaussian) 필터를 사용할 수 있다. LoG는 영상 𝐼(𝑥, 𝑦)에 대해 다음 식 (1)과 같이 정의된다.
| (1) |
| (2) |
여기서 𝐺𝜎는 표준편차 𝜎를 갖는 Gaussian 커널이며, LoG는 엣지(edge)나 코너(corner) 같이 영상의 밝기 변화가 급격한 영역에서 높은 응답을 보이고, 배경의 저주파 성분을 효과적으로 억제한다. 본 연구에서는 LoG를 식 (2)의 DoG로 근사하여 사용하였다. 이 근사식은 LoG와 유사한 대역통과(band-pass) 특성을 가지면서도 연산 효율이 높다. 이를 통해 스캐닝 소나의 방사형 신호 감쇠 특성으로 인한 밝기 왜곡을 정규화 할 수 있어, 이어지는 방위 방향의 구조 응답을 효과적으로 검출할 수 있다.
3. 방위 구조 검출(Azimuthal Geometric Detection Filtering)
본 단계에서는 센서의 방사형 스캔 특성을 고려하여, 방위각(azimuth) 방향 구조적 응답을 추출하였다. 스캐닝 소나는 송신 신호가 방사형으로 확산되며, 수신 신호는 동일 반경 상의 방위각 𝜃에 따라 서로 다른 반사체로부터 수집된다. 따라서 방위각 방향의 강도 변화는 실제 구조물의 형태적 윤곽과 밀접한 관련이 있다. 이를 고려하여, 반경-방위각 공간(radial-angular domain)에서 방위각 방향의 구조 변화를 추출하는 방위각 피크 응답 샘플링(APRS, Azimuthal Peak-Response Sampling)을 적용하였다. APRS는 다음의 절차로 구성된다.
- 1) 각 방위각 𝜃마다 반경 𝑟방향으로 국소 피크(local peak) 응답을 탐색한다.
- 2) 각 방위각마다 응답이 가장 강한 상위 3개의 피크값을 선택하여, 밝기 절대값이 아닌 방위 방향의 구조적으로 의미 있는 점들의 집합을 형성한다.
- 3) 위의 1~2. 과정을 전 DoG 구간마다 수행 후, 검출된 피크 응답을 누적하여 구조적으로 안정된 영역을 강조하고, 노이즈성 반응은 억제한다.
이를 수식으로 표현하면 다음 식 (3)과 같다.
| (3) |
위 식에서 (𝑟, 𝜃𝑗)는 𝐷𝑜𝐺의 (𝑥, 𝑦)가 반경, 방위각을 기준으로 배열된 좌표임을 의미하며, 𝑖번째 𝐷𝑜𝐺 구간에서 𝑗번째 방위각에 대해 반경 방향으로 총 𝑘(1~3)개의 피크를 검출한 후, 모든 𝐷𝑜𝐺에서의 피크 응답을 누적한 결과는 일렬의 집합 𝑅(𝑥, 𝑦)로 표현된다. 이때의 𝑚은 𝐷𝑜𝐺 피라미드의 수에 의해 결정되고, 𝑛은 방위각 분해능에 따라 결정된다. 본 논문에서 𝐷𝑜𝐺의 수는 𝑚 = 9, 방위각 분해능과 관련된 𝑛은 3600으로 설정했다. 그림 5는 APRS를 통해 검출된 DoG 해상도 별 방위각 피크 응답 분포를 시각화한 예시다. 다만, 단일 해상도에서 검출된 피크 응답은 여전히 해상도 변화나 잔류 노이즈에 민감할 수 있다. 따라서, DoG 응답으로부터 검출된 방위각 피크 분포들의 구조적 안정성을 강화하고, 노이즈성 피크 분포를 억제하기 위해 그림 6과 같이 피크 응답을 누적한다. 그림 5와 그림 6을 통해, 영상의 중심으로부터 방사형으로 분포한 구조적 특징점들이 밝기값의 절대 크기와 무관하게 균질하게 검출됨을 확인할 수 있다. 이러한 결과는 특징점들이 영상 내 반사체의 경계와 구조 패턴을 안정적으로 표현함을 의미한다. 본 절에서 수행된 방위 구조 필터링은 해상도 간 구조적 일관성을 반영하여 구조적으로 안정된 특징 응답을 확보하는 과정을 포함한다. 이후 절에서는 이러한 안정된 구조 응답을 기반으로, 매칭 과정에서 활용할 구조적 안정성이 높은 기준점을 선별하고 두 영상 간의 대응 관계를 정량적으로 분석한다.
4. 구조 기반 매칭 사전 준비(Structural Matching Preparation)
이전 절에서 수행된 방위 구조 필터링 결과는 아직 최종 매칭을 위한 후보(feature candidates) 수준에 머물러 있으며, 매칭을 위해서는 이들 중에서 의미 있는 기준점을 선별하고 영상 간 대응 관계를 구성하는 과정이 필요하다. 본 절에서는 구조적으로 안정된 응답을 기준으로 매칭에 유효한 기준점을 선별하고, 불확실도를 반영한 삼점 기반 구조 기술자를 구성하여 후속 매칭의 신뢰성을 확보하는 방법을 제안한다. 다중 해상도에서 검출된 방위각 피크 응답을 누적하면, 여러 해상도에서도 반복적으로 나타나는 구조적 패턴이 부각된다. 이 누적 응답의 강도는 해당 위치의 구조적 안정성을 나타내며, 매칭에 활용하기 위한 신뢰도 높은 기준점을 판단하는 척도로 사용할 수 있다. 본 연구에서는 이러한 구조적 안정성을 기반으로 정합 기준점을 선별하기 위해, 누적 응답이 최대치를 갖는 점을 기준점, 그 외의 점을 나머지점(remainder)으로 분류하였다. 이는 다음의 식 (4)와 같이 표현된다.
| (4) |
여기서 𝑅(𝑥, 𝑦)는 누적된 구조 응답값을 기반으로 형성된 누적 구조 안정성 맵으로, 각 인덱스(index)에는 0부터 최대치인 𝑅max까지 누적 중첩수가 기록되며, 𝑇𝑡ℎ는 구조 안정성을 판단하기 위한 임계값이다. 즉, 누적 응답값이 최대치 𝑅max인 점은 다중 해상도에서도 구조적으로 일관된 응답을 보이는 점으로 간주되어, 매칭에 유효한 기준점으로 선택된다. 그림 7은 구조적 안정성이 높은 기준점 선별 결과를 시각화한 것으로, 노란색 점은 기준점을, 하늘색 점은 나머지점을 나타낸다. 높은 안정성을 가진 점들이 실제 구조물의 윤곽을 따라 분포함을 확인할 수 있다.
소나 영상에서는 동일 구조가 거리 감쇠나 반사 조건에 따라 부분적으로 불연속적으로 검출될 수 있으므로, 본 논문은 각 구조의 신뢰도를 정량화 하기 위해 누적 구조 안정성 맵 𝑅(𝑥, 𝑦)으로부터 불확실도 𝜎𝑛를 정의한다. 불확실도는 구조적 안정성이 높을수록 작아지며, 이 때의 분포는 삼점 조합 시 겹침(overlap) 현상을 억제하기 위해 구조 신뢰도 가중치로 활용된다. 불확실도에 대한 수식을 다음과 같이 정의한다.
| (5) |
| (6) |
식 (5)는 구조적 안정성 𝑅(𝑥, 𝑦) 주변에서의 가우시안 분포 가중함수를 나타내며, 안정성이 높을수록 표준편차 𝜎𝑛이 작아져 가중치 영역이 좁아진다. 식 (6)은 불확실도를 𝑅(𝑥, 𝑦)의 역수 비례 형태로 정의한 것으로, 안정도가 낮은 구조에는 큰 불확실도가 부여된다. 즉 𝓍 = 𝜇일 때, 𝑓(𝓍)가 최소가 되고, 표준편차 𝜎𝑛은 최대가 되며, 이때의 상수 κ는 해시 공간 양자화 스케일을 반영하는 정규화 상수이다. 여기서 각 구조의 피크값을 고정된 𝑓(𝜇) 대신 누적 구조 안정성 맵 𝑅(𝑥, 𝑦)로 치환하면, 누적 구조 응답값이 클수록 불확실도 𝜎𝑛가 작아지고, 반대로 누적 구조 응답값이 작아 안정성이 낮을수록 불확실도 𝜎𝑛가 커지게 된다.
다음은 선별된 기준점 집합 𝐴 = {𝑎𝑖}를 기반으로, 서로 다른 세 점(𝑎𝑖, 𝑎𝑗, 𝑎𝑘)을 조합하여 삼점 집합을 형성한다. 이때 불확실도가 정의된 각 구조의 신뢰 범위를 고려하여, 불확실도 분포가 중첩되는 점은 제외한다. 이 과정을 통해 하나의 구조물에만 대표성을 갖는 비중첩 삼점 조합이 형성된다. 이후 각 구조에 대해서는 해시 키(key) 기반의 기술자를 만들어 주는데, 이 때의 해시 키는 다음의 식 (7), (8), (9)의 방법으로 정의한다.
| (7) |
| (8) |
| (9) |
식 (7)은 세 기준점 (𝑎𝑖, 𝑎𝑗, 𝑎𝑘) 사이의 거리 제곱 비율을 정규화하여, 영상의 밝기 변화에 영향을 받지 않는 구조 형태 벡터 𝐸를 정의한다. 식 (8)의 𝜃𝑝𝑞는 점 𝑎𝑝에서 점 𝑎𝑞 로 향하는 벡터의 방위각을 나타낸다. 따라서 𝛷 는 세 점 (𝑎1, 𝑎2, 𝑎3)이 이루는 삼각형의 세 방향 벡터 방위각 시퀀스이다. 이 시퀀스를 정렬하여 반시계 방향 순으로 배열하면, 식 (9)와 같이 두 방위각의 차이를 통해 세 개의 방위 간격 𝐺 = [𝑔1, 𝑔2, 𝑔3]을 정의할 수 있다. 여기서 는 정렬된 방위각 시퀀스를 의미하며, 은 정렬된 방위각 시퀀스의 n번째 원소를 나타낸다. 𝑔𝑛은 연속된 두 방향 벡터 사이의 각도 차이를 의미한다. 즉, 세 점을 중심 기준으로 돌아가며 생기는 세 개의 내부 각 간격으로 해석할 수 있다.
| (10) |
세 점의 순서를 바꾸면 순환의 시작점이 달라지므로 𝑔1, 𝑔2, 𝑔3의 순서도 바뀐다. 따라서 위의 식 (10)과 같이 세 가지 순환(roll) 중 불확실도 가중 제곱합이 최소가 되는 경우를 선택하여 삼점의 기준 방향을 정준화(canonical) 한다. 이때, 𝐺(𝑛)은 세 개의 방위 간격 𝐺의 순환 시작점을 n번째 점으로 한 경우를 나타내는 표현이며, 세 가지 순환 중에서 불확실도 가중 제곱합이 최소가 되는 즉, arg min을 만족하는 순환 (𝑟𝑜𝑙𝑙) 조합 𝐺(𝑛)를 로 정의한다. 이 정준화 과정은 동일한 삼점 구조라도 점의 순서에 따라 기술하는 값이 달라지는 문제를 제거하여, 점 순서 불변의 구조를 가지도록 한다. 이는 결과적으로 세 점 간의 방위 차이 패턴을 기준으로 한 정준화된 방위 시퀀스를 의미하게 된다. 이후에는 기술자 𝐷 = [𝐸, ]를 거리 비율과 각도 정보를 통합한 6차원 벡터로 정의한다. 또한, 정삼각, 준일렬, 이등변 형태와 같이 구조적으로 모호한 삼점은 사전 제거함으로써, 불필요한 매칭 오류를 방지하였다. 이로써 𝐷는 구조의 형태, 방향, 신뢰도를 통합적으로 기술하는 구조 기술자로 정의된다.
5. 분포 기반 구조 매칭(Uncertainty-tolerant Structural Matching)
이전 절에서 정의된 불확실도 가중 삼점 정규화 구조 기술자 𝐷는 각 영상 내 구조의 기하적 형태와 방향 관계를 통합적으로 기술한다. 본 절에서는 이 기술자를 이용하여 두 영상 간의 대응 관계를 추정하는 과정을 제안한다. 먼저, 각 영상에서 추출된 기술자 집합 내에서 유사한 기하 구조를 가진 후보쌍 (𝑖, 𝑗)을 찾는다. 이때 비교는 거리 비율과 방위각 차이의 오차가 다음의 식 (11)을 만족할 때 수행하여, 불필요한 비교 연산 비용을 줄인다.
| (11) |
여기서 𝜏𝐸는 거리 비율 허용 한계, 𝜏𝜒2는 𝜎𝑔에 의해 가중된 각도 오차 허용 한계로, 𝜎𝑔가 작을수록 작은 오차에도 매칭이 제한되며, 𝜎𝑔가 큰 구조는 더 완화된 기준으로 비교된다. 따라서 두 구조의 𝜎𝑔평균을 이용한 가중 계산은 분포 간의 우도 추정과 확률 계산을 하지 않더라도, 신뢰도 기반의 허용 오차 범위를 규정하는 확률 분포의 매개 변수로 작동한다. 이렇게 얻은 후보쌍에 대해서는 최근접 탐색을 수행하여 각 기술자 𝒟𝐴와 가장 가까운 대응 기술자 𝒟𝐵를 탐색한다. 그림 8과 같이 탐색으로 짝지어진 두 대응쌍 사이의 대응점 간 잔차 거리(residual distance)가 임계값 이하일 때, 이들 각각을 서로의 대응점으로 판정한다. 이후 탐욕적 필터링(greedy filtering)을 적용하여, 복수의 대응점을 갖지 않도록 1:1 대응 관계를 유지한다. 즉, 한 점은 단 하나의 대응점만을 가질 수 있으며, 양방향 탐색에서 동일한 쌍으로 매칭될 때만 상호 일관성(mutual consistency)을 만족한다. 이 과정을 통해 얻어진 최종 대응쌍 집합은 상호 대응 최적 쌍을 선별하는 기준이 된다. 이 방식은 기존의 오차 기반으로 상호 대응 최적 쌍을 찾던 방식과 달리, 대응점 검증을 동시에 수행하는 일관성 기반 대응 검증의 역할도 한다. 즉, 단순 상호 최적이 아니라, 공통된 기하적 관계를 지지하는가를 기준으로 매칭을 결정한다. 그림 8와 같이 1:1 대응 관계를 유지하는 대응점만을 추렸을 때, 대응점의 수가 가장 많은 후보쌍(Hash A ⟷ Hash B)을 상호 대응 최적 쌍으로 선별한다. 이 단계에서 이미 최종 정합 파라미터를 얻었고, 실험 및 결과에서는 이를 직접 영상 정렬과 성능 평가에 사용한다.
III. 실험
1. 실험 환경 및 데이터셋
본 연구에서 사용된 소나 영상은 Kongsberg 社의 ‘1171 High Resolution Scanning Sonar’ 모델로부터 취득한 스캐닝 소나 영상이다. 실험의 목표는 스캐닝 소나의 센서 특성을 반영해, 밝기 왜곡과 감쇠에도 강인한 구조 대응 정합을 수행하여 수중 로봇의 상대적 위치·자세를 추정하는 것이다. 실험에서 사용하는 영상은 475 pixels 반경으로 360° 회전하고 있으며, 공통된 구조물을 공유하고 있는 2개의 영상을 한 쌍씩 짝지어서 총 다섯 쌍, 10개의 영상으로 구성하였다. 실험에 사용될 각 정합 쌍에 대한 실험 데이터셋은 그림 9와 같다. 제안하는 방법의 정합 성능을 평가하기 위하여 사전에 취득한 정합 참값과 기존 방법[13,14]의 정합 성능을 비교대상으로 활용하였다. 본 연구에 사용되는 정합 참값 데이터의 경우에는 사전에 취득된 항법 정보가 없어, 사전에 수동으로 모자이크하여 취득한 정합 결과를 참값으로 구성하였다[13,14]. 제안하는 방법을 비교하기 위한 실험 데이터셋의 참값은 표 1과 같이 2차원 회전, 이동 정보로 표현되며, 각 단위로 이동 정보는 pixel 단위, 회전 정보는 degree 단위를 사용하였다. 표 1의 실험 데이터셋 (a)~(e)는 표 2, 표 3, 그림 9, 그림 10, 그림 11의 (a)~(e)와 각각 대응한다.

Comparison of translation and rotation errors between the proposed method and the previous methods [13],[14].
2. 성능 평가 및 결과 분석
제안한 정합 알고리즘의 성능은 다섯 쌍의 스캐닝 소나 데이터셋 (a)∼(e)에 대해 평가하였다. 정합 결과는 수동 모자이크를 이용해 생성한 참값(표 1)을 기준으로 비교하였으며, 이동 오차와 회전 오차 두 지표를 절대값으로 산출하였다. 제안하는 방법의 정합 결과는 표 2에 정리되어 있으며, 그림 10과 그림 11은 각각 참값과 제안하는 방법의 정합 결과를 이용해 생성한 모자이크 영상이다. 영상 정합 결과(표 2)를 통해 제안하는 방법의 모든 데이터셋에 대해 평균 이동 오차는 4.60 pixels, 평균 회전 오차는 0.29°로 측정되었으며, 이는 제안 알고리즘이 소나 영상의 밝기 왜곡이나 음향 그림자 등 센서 특성에 기인한 불연속성에도 불구하고 안정적으로 정합이 수렴함을 보여준다.
정합 결과의 정성적 평가를 위해, 그림 10과 그림 11의 모자이크 결과를 비교하였다. 그림 10의 참값 기반 모자이크에서는 각 데이터셋에서 주요 구조물이 연속적으로 연결된 정합 결과를 보여준다. 이에 대응하는 그림 11의 제안하는 방법 결과에서도, 구조물의 윤곽 및 상대적 위치 관계가 단절 없이 유지되는 것을 확인할 수 있다. 특히, 직선 구조물이나 반복적인 형상 등 인공적인 구조물을 포함하는 데이터셋 (a)~(c)에서는 구조물의 분절 현상이나 방사 왜곡에도 정합 성능이 안정적으로 유지되며, 데이터셋 (d), (e)에서는 자연물 외의 구조물의 정보가 한정적임에도 불구하고 정합성능이 안정적으로 유지된다.
표 3과 그림 12는 제안하는 알고리즘과 기존 방법[13,14]의 절대 오차 비교 결과를 나타낸다. 본 논문에서 제안하는 방법을 기존 방법과 비교하여 평가하기 위해, 기존 방법에서도 데이터셋 (a)~(e)를 동일하게 사용하였다. 표 3의 결과를 보면, 두 기존 방법들은 다른 데이터셋에 비해 유독 데이터셋 (d), (e)에서 정합 성능이 불안정한 것을 볼 수 있다. 데이터셋 (d)의 경우에는 동일한 자연구조물을 기준으로 좌우 위치에서 각각 촬영한 영상인데, 이런 영상의 경우 같은 구조물에 대해서도 각 영상에 서로 다른 방향으로 방사 왜곡이 발생하게 된다. 따라서, ICP 기반의 정합 방법[13]은 구조물의 밝기 성분만을 가지고 두 영상을 정합 하는 데에 한계가 존재하게 된다. 데이터셋 (e)의 경우에는 ICP에 사용할 매칭점의 수가 현저히 부족하고, 두 영상 간의 중첩 영역 또한 현저히 좁기 때문에 중첩 영역 추정을 통한 ICP 기반 정합 성능이 저하되는 결과를 보여주게 된다.
Comparison of absolute error distributions between the proposed method and the previous methods [13],[14]. The left and right plots represent translation and rotation errors, respectively.
토폴로지컬 디스크립터를 이용한 정합 방법의 경우에는 관측되는 관심영역 간의 위상관계를 바탕으로 기술자를 생성하고 이를 비교하는 방식으로 영상 정합을 하게 되는데, 데이터셋 (d), (e)의 경우에는 1) 관심영역이 지나치게 한 곳에 밀집되어 있고, 2) 관측되는 관심영역의 수가 현저히 부족하며, 3) 관심영역에 서로 다른 방향으로 왜곡이 발생하고 있다. 이러한 원인으로 인해 정합의 성능이 불안정한 모습을 보인다. 이에 반해, 제안하는 방법은 데이터셋 (d)의 구조물 정보를 DoG와 APRS로 가공하여 사용하기 때문에, 서로 다른 방향으로 방사 왜곡이 발생한 구조물에 대해서도 안정적인 정합 성능을 보여준다. 게다가, 구조물의 밝기 정보가 아닌 구조적 안정성 정보를 바탕으로 기준점을 선별하기 때문에 중첩 영역이 현저히 좁은 데이터셋 (e)에서도 안정적으로 구조물 간의 관계를 정의할 수 있다.
데이터셋 (c)를 보면, 기존 방법[13]의 이동오차가 다른 방법들보다 작은 것을 확인할 수 있다. 해당 데이터셋에서 관측되는 구조물들은 전부 중첩 영역 내에 위치하고 있으며, 그 외 구역에서는 별다른 구조물이 관측되지 않는다. 이런 영상 특징으로 인해, 다른 데이터셋에 비해 유독 데이터셋 (c)에서 중첩 영역이 ICP 기반 정합 성능 향상에 크게 기여하고 있다고 해석할 수 있다. 다만, 데이터셋 (c)의 영상 중심에 강한 저주파 노이즈가 관측되는데, ICP에 사용될 매칭점 추정 과정에서 해당 노이즈가 포함되었고, 이로 인해 ICP 기반의 회전 값 추정에서는 큰 회전 오차를 보였다.
표 3과 그림 12를 통해 전체 데이터셋에 대한 정합 성능을 평가하면, 제안하는 방법은 이동·회전 오차가 기존 방법[13,14]에 비해 작기에 정합 성능이 우수하다고 평가할 수 있다. 게다가, 오차의 편차 또한 기존 방법[13,14]에 비해 작은데, 이를 통해 제안하는 알고리즘의 정합 성능이 비교 대상과 비교해서 전반적으로 여러 데이터셋에 일관되고 안정적이게 동작한다는 걸 알 수 있다.
IV. 결론
본 연구에서는 스캐닝 소나의 센서 특성을 반영한 구조 대응점 기반 영상 정합 알고리즘을 제안하였다. 기존의 방법들은 항법 정보를 이용해 중첩 영역을 사전 추정해야 하며, 밝기 왜곡과 거리 감쇠에 민감하여 정합 안정성이 떨어진다는 한계를 지닌다. 이에 본 연구는 스캐닝 소나의 센서 특성을 반영하여 방위 구조 안정성을 기반으로 한 구조적 대응 관계를 활용하였다. 본 논문에서 제안하는 알고리즘의 단계 및 기여는 다음과 같다. 먼저, 중간값 필터의 반복 횟수를 성능과 연산시간이 최적이 되는 분기점으로 설정하여 전처리의 효율성을 향상시켰다. 그 다음, 단계별로 해상도에 차이를 둔 DoG 층을 생성하여 넓게 퍼진 저주파 반사 잡음을 억제하고, 방위각 피크 응답의 누적을 통해 구조적으로 안정적인 기준점을 선별하였다. 이후, 불확실성이 내재된 삼점 구조 해시를 구성하고, 정규화 구조 기술자를 통해 사전에 유사도가 낮은 해시들 간의 매칭을 걸러낸다. 해시들은 불확실성을 내재하고 있기 때문에, 밝기·음영 변화에 의해 위상 관계가 흔들려도 강인하게 매칭할 수 있었으며, 유사도가 낮은 해시들의 매칭을 생략하여 연산시간을 대폭 감소하고, 알고리즘을 경량화 할 수 있었다. 마지막으로, 매칭에 성공한 해시 쌍들은 최근접 탐색과 상호 일관성 검증을 통해, 정합 결과에 오차를 만드는 이상치를 제거하였다. 마지막으로, 실험 결과를 통해 제안 기법의 정합 성능과 정합 안정성을 증명했다. 향후 연구에서는 본 연구에서 사용된 파라미터 최적화와 자동화 접근 방법을 고안하여, 실시간 운용 환경에서도 적용 가능한 구조 대응 정합 프레임워크로 연구를 확장할 예정이다.
Acknowledgments
이 논문은 2022년 정부(방위사업청)의 재원으로 국방기술진흥연구소(과제관리기관명)의 지원을 받아 수행된 연구임(KRIT-CT-22-066)논문에 활용된 스캐닝 소나 데이터는 선박해양플랜트연구소(KRISO)로부터 제공받음.
REFERENCES
-
J. Choo, G. Lee, P.-Y. Lee, H. S. Kim, H. Lee, D. Park, and J. Lee, “Position based in-motion alignment method for an AUV,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 26, no. 8, pp. 649-659, 2020.
[https://doi.org/10.5302/J.ICROS.2020.20.0071]
-
G. Lee, K. Choi, P.-Y. Lee, H. S. Kim, H. Lee, H. Kang, and J. Lee, “Performance enhancement technique for position-based alignment algorithm in AUV’s navigation,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 29, no. 9, pp. 740-747, 2023.
[https://doi.org/10.5302/J.ICROS.2023.23.0081]
-
S. Y. Yoo, B. H. Jun, and H. Shim, “Design of static gait algorithm for hexapod subsea walking robot: Crabster,” Transactions of the Korean Society of Mechanical Engineers - A (in korean), vol. 38, no. 9, pp. 989-997, 2014.
[https://doi.org/10.3795/KSME-A.2014.38.9.989]
-
S.-Y. Yoo, B.-H. Jun, H. Shim, and P.-M. Lee, “Finite element analysis of carbon fiber reinforced plastic frame for multi-legged subsea robot,” Journal of Ocean Engineering and Technology (in korean), vol. 27, no. 6, pp. 65-72, Dec. 2013.
[https://doi.org/10.5574/KSOE.2013.27.6.065]
-
S.-Y. Yoo, B.-H. Jun, H. Shim, and P.-M. Lee, “Finite element analysis of CFRP frame under launch and recovery conditions for subsea walking robot, crabster,” Transactions of the Korean Society of Mechanical Engineers - A (in korean), vol. 38, no. 4, pp. 419-425, 2014.
[https://doi.org/10.3795/KSME-A.2014.38.4.419]
-
B.-H. Jun, H. Shim, and S. Yoo, “Dynamic tumble stability analysis of seabed walking robot in forward incident currents,” Transactions of the Korean Society of Mechanical Engineers - A (in korean), vol. 39, no. 8, pp. 743~749, 2015.
[https://doi.org/10.3795/KSME-A.2015.39.8.743]
-
H. Baek, B.-H. Jun, J.-Y. Park, B.-R. Kim, and P.-M. Lee, “Application of high resolution scanning sonar with multi – legged underwater robot,” Oceans – San Diego, pp. 1-5, 2013.
[https://doi.org/10.23919/OCEANS.2013.6741372]
-
H. Baek, S. Yoo, and B.-H. Jun, “Application of scanning sonar using multi - legged underwater robot’s degree of freedom,” OCEANS 2015 - MTS/IEEE Washington, pp. 1-5, 2015.
[https://doi.org/10.23919/OCEANS.2015.7404609]
-
H. Baek, B.-H. Jun, and M. D. Noh, “The application of sectorscanning sonar: strategy for efficient and precise sector-scanning using freedom of underwater walking robot in shallow water,” Sensors, vol. 20, no. 13, pp. 1-21, Jun. 2020.
[https://doi.org/10.3390/s20133654]
-
X. Zhou, C. Yu, X. Yuan, Y. Wu, H. Feng, and C. Luo, “Nonlinear intensity sonar image matching based on deep convolution features,” OCEANS 2022 – Chennai, pp. 1-5, 2022.
[https://doi.org/10.1109/OCEANSChennai45887.2022.9775321]
-
X. Han, J. Sun, S. Zhang, J. Dong, and H. Yu, “Sonar-based simultaneous localization and mapping using the semi-direct method,” Journal of Marine Science and Engineering, vol. 12, no. 12, pp. 2234, 2024.
[https://doi.org/10.3390/jmse12122234]
-
P. Tueller, R. Kastner, and R. Diamant, “A comparison of feature detectors for underwater sonar imagery,” OCEANS 2018 MTS/IEEE Charleston, pp. 1-6, 2018.
[https://doi.org/10.1109/OCEANS.2018.8604786]
-
G. Lee, K. Choi, P.-Y. Lee, S.-M. Yoon, J. Son, and J. Lee, “Scanning-sonar image matching algorithm using overlapping region detection and ICP,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 30, no. 3, pp. 226-233, 2024.
[https://doi.org/10.5302/J.ICROS.2024.24.0004]
-
K. Choi, G. Lee, P.-Y. Lee, S.-M. Yoon, J. Son, and J. Lee, “Optimal parameter estimation for topological descriptor based sonar image matching in autonomous underwater robots,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 30, no. 7, pp. 730-739, 2024.
[https://doi.org/10.5302/J.ICROS.2024.24.0046]
-
Y.-S. Shin, Y. Cho, Y. Lee, H.-T. Choi, and A. Kim, “Comparative study of sonar image processing for underwater navigation,” Journal of Ocean Engineering and Technology (in korean), vol. 30, no. 3, pp. 214-220, June. 2016.
[https://doi.org/10.5574/KSOE.2016.30.3.214]
2019년 충남대학교 메카트로닉스공학과(공학사). 2025년 2월 충남대학교 메카트로닉스공학과 석사 수료. 2026년 2월 충남대학교 메카트로닉스공학과(공학석사). 관심분야는 수중소나, 영상처리.
2022년 충남대학교 메카트로닉스공학과(공학사). 2022년~현재 충남대학교 메카트로닉스공학과 석-박사 통합과정. 관심분야는 위치추정, 항법, 수중로봇, 수중소나.
1997년 KAIST 전기및전자공학과 대학원 석사. 2002년 동 대학 박사. 2002년~ 2004년 하이닉스반도체 선임연구원. 2004년~현재 충남대학교 메카트로닉스공학과. 관심분야는 컴퓨터비전, SLAM, 영상처리.
2006년 부경대학교 지능기계공학과(공학사). 2008년 부경대학교 메카트로닉스공학과(공학석사). 2016년 부경대학교 메카트로닉스과(공학박사). 2020년~현재 한화시스템. 관심분야는 해양무인 체계 종합, 수중환경인식, 유무인 복합.
1983년 서울대학교 전자공학과(공학사). 1985년 KAIST 전기 및 전자공학과(공학석사). 1991년 KAIST 전기 및 전자공학과(공학박사). 1994년~현재 충남대학교 메카트로닉스공학과 교수. 관심분야는 위치 추정, 수중 로봇, 양팔 로봇, 야지 주행 로봇.










