핵심 특징 선별 기반 시계열 분류와 EMA 및 HMM 안정화를 이용한 도메인 전환구간 판단 안정화 기법

I. 서론

재난환경은 지진, 화재, 침수와 같은 재해 발생으로 인해 공간의 구조와 기능이 급격히 붕괴되는 특성을 지닌다[1-3]. 이러한 환경에서는 건축물의 부분적 붕괴, 시야를 가리는 연기와 잔해, 조명 조건의 급변 등이 동시에 발생하며, 인간의 직접적인 접근이 어렵거나 위험한 상황이 빈번하게 나타난다. 이에 따라 재난 현장의 신속한 상황 파악과 안전한 임무 수행을 위해 재난 대응 로봇의 활용 필요성이 지속적으로 증가하고 있다[4-10]. 재난 대응 로봇은 붕괴된 건축물, 화재 및 침수 현장, 지하 구조물과 같은 극한 환경에서 구조 탐색, 시설 점검, 위험 요소 식별과 같은 임무를 수행해야 하며, 이를 위해 시각 정보를 기반으로 한 환경 인식 기술은 필수적인 요소로 작용한다. 특히 카메라 기반 인식 시스템은 로봇의 주행 판단, 환경 구조 이해, 구조물 상태 평가 및 부상자 식별과 같은 핵심 기능의 기반 정보로 활용되기 때문에, 인식 결과의 신뢰성과 안정성은 로봇 시스템 전반의 성능을 좌우하는 핵심 요인이다[11-14].

그러나 재난환경은 일반적인 실내 또는 실외 환경과 달리, 단일한 도메인으로 정의되기 어려운 복합적인 특성을 지닌다. 로봇은 짧은 시간 내에 실외에서 실내, 개방된 공간에서 폐쇄된 공간으로 이동하게 되며, 이 과정에서 조명 조건, 시야 개방도, 배경 질감, 구조적 패턴이 급격하게 변화한다. 이러한 도메인 전환은 재난환경의 빈번하게 발생하는 현상이며, 실제 현장에서는 하나의 영상 시퀀스 내에서도 서로 다른 시각적 단서가 혼재되는 구간이 반복적으로 관측된다.

이와 같은 도메인 전환 구간에서는 시각 정보의 불확실성이 급격히 증가하면서, 단일 프레임 기반 인식 결과가 안정적으로 유지되기 어렵다. 특히 실내, 실외와 같이 상이한 환경 특성을 구분하는 도메인 분류 문제에서는, 연속 프레임 간 예측 확률이 진동하며 판단 결과가 빈번하게 전환되는 스위칭 현상이 발생한다[15-18]. 이러한 과도 스위칭은 단순한 분류 오류를 넘어, 이후 단계의 구조물 손상 평가, 위험 영역 식별, 지도 생성 과정 전반에 누적적인 오류를 유발할 수 있으며, 재난 대응 시스템의 신뢰성을 저하시킨다.

하지만 기존의 시각 인식 연구들은 주로 단일 도메인 환경을 가정하거나, 도메인 간 성능 비교에 초점을 맞추어 왔다[19,20]. 그러나 재난환경에서 핵심적인 문제는 특정 도메인에서의 인식 정확도 자체보다는, 도메인이 연속적으로 변화하는 상황에서도 판단 결과를 얼마나 일관되게 유지할 수 있는가에 있다. 즉, 재난환경에서 요구되는 인식 성능은 단일 프레임의 정확도가 아니라, 시간적 연속성을 고려한 판단 안정성으로 재정의될 필요가 있다.

본 연구에서는 이러한 관점에서 재난환경에서 빈번하게 발생하는 도메인 전환 구간을 핵심 연구 대상으로 정의하고, 전환 구간에서 발생하는 시각 정보의 불확실성과 판단 불안정 문제를 정량적으로 분석한다. 이를 위해 프레임 단위의 시각적 특징을 추출하고, SHAP (Shapley Additive explanations) [21] 기반 특징 중요도 분석을 통해 전환구간 판별에 기여하는 핵심 특징을 선별한다. 또한, 선택된 특징을 입력으로 하는 시계열 분류 모델과 확률 안정화 기법을 결합하여, 전환 구간에서 발생하는 과도 스위칭을 효과적으로 억제하는 시퀀스 보정 기법을 제안한다. 제안된 방법은 재난환경에서의 도메인 판단 안정성을 향상시킴으로써, 이후 단계의 구조물 손상 평가 및 로봇 인식 시스템 전반의 신뢰성 향상에 기여할 수 있음을 목표로 한다.

본 논문의 구성은 다음과 같다. 2장에서는 도메인 전환구간 분석을 위해 사용된 영상 데이터셋의 구성과 전처리 과정, 그리고 실내, 실외, 전환구간 데이터셋 구축 방법에 대하여 설명한다. 3장에서는 도메인 전환구간에서 나타나는 시각적 특성과 분류 및 구조물 분할 관점에서의 인식 결과 변화를 분석한다. 4장에서는 SHAP 기반 특징 중요도 분석을 통해 도메인 전환구간 판별에 기여하는 핵심 특징을 선별하는 과정을 기술한다. 5장에서는 선별된 핵심 특징을 입력으로 하는 시계열 기반 분류 모델을 구축하고, EMA (Exponential Moving Average) [22] 및 HMM (Hidden Markov Model) [23] 기반 안정화 기법을 적용하여 도메인 전환구간 판별 성능과 판단 안정성을 분석한다. 마지막으로 6장에서는 본 연구의 결론을 정리하고 향후 연구 방향을 제시한다.

II. 데이터셋 구성 및 특징 설계

도메인 전환구간에서 발생하는 급격한 환경 변화와 시각적 불확실성을 정량적으로 분석하기 위해, 전환 구간을 포함하는 영상 데이터를 기반으로 학습 및 검증 데이터셋을 구성하였다. 총 29개의 영상 중 실제 도메인 전환이 포함된 24개 영상을 학습 데이터셋으로 사용하였으며, 나머지 5개 영상은 검증 데이터셋으로 활용하였다. 모든 영상은 도메인 전환이 발생하는 시점을 중심으로 프레임 단위 분석이 가능하도록 구성되었다.

전환 구간의 불확실성을 표현하기 위해, 환경 분류기의 출력 확률값과 엔트로피(entropy)를 기본적인 불확실성 지표로 사용하였다. 또한 전환 구간에서 나타나는 시각적 변화 양상을 보다 직접적으로 반영하기 위해, 밝기 변화율, 엣지 밀도, 구조물 영역 비율과 같은 시각적 특징을 함께 추출하였다. 이러한 특징들은 조명 조건 변화, 배경 복잡도 증가, 구조적 패턴의 불연속성과 같은 전환 구간의 시각적 특성을 효과적으로 포착할 수 있도록 설계되었다.

더 나아가, 도메인 전환 과정에서 나타나는 기하학적 불안정성과 동적 변화를 반영하기 위해 시점 안정성 지표와 광학적 흐름(optical flow) 기반의 모션 특징을 추가하였다. 시점 안정성은 카메라 시야 변화에 따른 구조적 일관성을 반영하며, 광학적 흐름의 특징은 프레임 간 움직임 패턴의 변화를 정량화하는 데 사용되었다. 최종적으로 추출된 모든 특징은 프레임 단위로 계산된 후, 시계열 패턴 학습을 위해 고정 길이의 시퀀스 형태로 변환되어 전환 탐지 모델의 입력으로 구성되었다. 또한, 도메인 전환구간에서 관찰된 분류 결과의 불안정성이 구조물 분할 성능에 미치는 영향을 분석하기 위해, 분류 모델과 구조물 분할 모델을 위한 데이터셋을 각각 구성하였다. 도메인 분류 모델은 실내 및 실외 이미지를 각각 3,244장씩 학습 데이터로 사용하였으며, 검증 데이터셋은 각 800장으로 구성하였다.

이와 함께, 도메인 전환구간에서의 공간 인식 특성을 분석하기 위해 구조물 분할 성능 분석용 데이터셋을 별도로 구축하였다. 실내 구조물 분할 데이터셋은 ADE20K [24]의 실내(Indoor) 카테고리 중 구조 요소가 명확히 나타나는 이미지를 선별하여 구성하였으며, 모델 학습을 위해 총 17,053장의 원본 이미지를 활용하였다. 해당 데이터셋은 비교적 일정한 조도 조건과 규칙적인 배경 패턴을 특징으로 하여, 실내 환경에서의 구조적 형태와 공간 배치를 안정적으로 반영한다.

반면, 실외(Outdoor) 구조물 분할 데이터셋은 AI-Hub에서 제공하는 자연재해로 인한 생활시설 안전 데이터를 활용하여 구축하였으며, 총 10,122장의 이미지를 사용하였다. 본 데이터셋은 자연광 변화와 복잡한 배경 요소가 두드러지는 실외 환경 특성을 포함하고 있어, 다양한 조명 조건과 시각적 복잡성이 존재하는 상황에서의 구조물 분할 성능을 분석하는 데 적합하다. 이러한 실내 및 실외 구조물 분할 데이터셋을 기반으로, 각 도메인 환경에서 분할이 안정적으로 수행되지 않는 영역과 도메인 전환구간에서 나타나는 구조물 분할 성능의 한계점을 분석하고자 한다.

III. 도메인 전환구간에서의 시각적 특성 분석

도메인 전환구간은 서로 다른 시각적 환경 특성이 연속적으로 나타나는 구간으로 정의할 수 있다. 도메인 전환은 특정 시점에서 순간적으로 발생하기보다는, 일정 시간 동안 점진적으로 진행되는 형태로 나타난다.

도메인 전환구간에서는 조명 조건, 시야 개방도, 배경 질감, 구조적 패턴과 같은 시각적 단서가 짧은 시간 내에 연속적으로 변화한다. 이로 인해 영상 내 명도 분포와 텍스처 특성이 불규칙하게 변하며, 구조 경계의 선명도 또한 프레임마다 상이하게 관측된다. 해당 변화는 개별 요소의 단순한 변화보다는, 여러 시각적 단서가 동시에 변하는 복합적인 형태로 나타난다.

이와 같은 시각적 변화는 프레임 단위 인식 결과의 일관성을 저하시킨다. 전환구간에서는 동일한 장면을 관측하더라도 프레임마다 도메인 분류 결과가 다르게 나타나는 경향이 관측되며, 이는 곧 단일 프레임 기반 판단이 해당 구간의 특성을 충분히 반영하지 못함을 의미한다. 특히 전환 초기 또는 종료 구간에서는 두 도메인의 시각적 특징이 함께 나타나면서, 인식 결과가 안정적으로 유지되기 어려운 상황이 발생한다.

이러한 특성은 도메인 전환구간에서의 시각 인식 문제가 단순한 분류 정확도의 문제가 아니라, 시간적 연속성을 고려하지 않은 판단 방식의 한계에서 비롯됨을 시사한다. 따라서 전환구간의 시각적 특성을 효과적으로 다루기 위해서는 프레임 간 변화 양상을 함께 고려할 수 있는 접근이 필요하다.

도메인 전환구간에서의 시각 인식 특성을 분석하기 위해, 분류 및 분할 관점에서 도메인 변화에 따른 인식 결과의 차이를 비교하였다. 로봇 시스템은 제한된 연산 자원과 실시간 처리 요구 조건을 고려해야 하므로, 경량 구조를 기반으로 단일 네트워크에서 분류 및 분할을 수행할 수 있는 YOLOv11 [25-27] 기반의 분류 모델과 분할 모델을 각각 구축하고, 실내 및 실외 환경에서의 인식 결과 변화를 분석하였다.

먼저, YOLOv11 기반 분류 모델을 활용하여 영상 프레임 단위에서 실내와 실외 도메인을 구분하는 분류 모델을 구축하였다. 해당 모델은 도메인 전환구간에서 프레임별 도메인 판단 결과가 시간에 따라 어떻게 변화하는지를 분석하기 위한 도구로 사용되었다.

분류 결과에서 관찰된 도메인 변화가 공간 인식 결과에 어떠한 영향을 미치는지를 분석하기 위해, YOLOv11n-seg 모델을 기반으로 실내 구조물 분할 모델과 실외 구조물 분할 모델을 각각 구축하였다. 이후 프레임별 도메인 분류 결과를 기반으로, 해당 도메인에 대응되는 구조물 분할 모델을 선택적으로 적용함으로써, 도메인 전환구간에서 시설물 분할 결과의 변화를 분석하였다.

분석 결과, 전반적으로 실내와 실외 도메인은 비교적 안정적으로 구분되는 경향을 보였으나, 특정 조건에서는 분류 결과의 일관성이 유지되기 어려운 현상이 관측되었다. 구체적으로, 강한 조명 변화가 발생하거나 출입문이 개방된 상태와 같이 실외의 시각적 특성이 일부 포함된 실내 구간에서는 프레임 간 도메인 판단이 유지되지 않고, 인접한 프레임에서 서로 다른 분류 결과가 반복적으로 나타나는 경향을 보였다. 해당 결과는 실내와 실외의 시각적 단서가 부분적으로 혼재된 상황에서 단일 프레임 기반 분류가 안정적으로 수행되기 어렵다는 점을 보여준다.

특히 실내에서 실외로 이동하거나 실외에서 실내로 진입하는 과정과 같이 두 도메인의 시각적 특성이 동시에 나타나는 전환구간에서는 분류 결과의 변동이 더욱 두드러지게 관찰되었다. 해당 구간에서는 단일 도메인 특성이 명확하게 드러나지 않으면서, 프레임 단위 도메인 판단이 연속적으로 변화하는 현상이 발생하였다. 이러한 결과는 도메인 전환구간에서 단일 프레임 기반 분류 방식이 복합적인 시각적 특성을 충분히 반영하기 어렵다는 점을 보여준다.

또한, 도메인 분류 결과를 기반으로 실내 구조물 분할 모델과 실외 구조물 분할 모델을 상이한 도메인 환경에 적용하여 비교한 결과, 각 모델은 학습에 사용된 도메인 환경에서는 비교적 안정적인 분할 성능을 보였으나, 실내 모델을 실외 환경에 적용하거나 실외 모델을 실내 환경에 적용한 경우에는 구조물 분할이 거의 수행되지 않거나 일부 영역에만 제한적으로 반응하는 경향이 관측되었다.

분석 결과를 종합하면, 도메인 특성이 명확히 구분되지 않는 구간에서는 분류 결과가 연속적으로 변화하며, 그 영향으로 분할 모델의 선택 또한 빈번하게 달라지면서 공간 인식 결과의 일관성이 유지되기 어렵다. 이는 단일 프레임 기반 판단만으로는 도메인 전환구간의 복합적인 시각적 특성을 안정적으로 처리하기 어렵다는 점을 명확히 보여준다. 또한, 그림 1과 2는 실내 구조물 분할 모델과 실외 구조물 분할 모델을 각각 상이한 도메인 환경에 적용했을 때의 분할 결과를 비교하여 나타낸 것으로, 동일한 영상 시퀀스 내에서 도메인 판단이 변동할 경우 분할 모델 선택이 함께 흔들리면서 인식 결과의 일관성이 저하될 수 있음을 시각적으로 보여준다. 더 나아가, 그림 3은 도메인 전환 구간에서 실내 및 실외 클래스 예측 확률이 시간에 따라 진동하며, 그 결과 프레임 단위 도메인 판단이 반복적으로 전환되는 스위칭이 집중적으로 발생함을 시계열적으로 보여준다.

Fig. 1.

Domain generalization limitation of the indoor structural segmentation model.

Fig. 2.

Domain generalization limitation of the outdoor structural segmentation model.

Fig. 3.

Time-series variations in indoor–outdoor classification probabilities and switching events under domain transitions.

IV. 특징 추출 및 SHAP 기반 핵심 특징 분석

3장에서는 도메인 전환구간에서 분류 및 분할 결과가 프레임에 따라 불안정하게 변화하는 경향을 확인하였다. 다만 이러한 현상 분석만으로는 전환구간에서 어떤 시각적 요인이 판단 변화에 영향을 미치는지 명확히 설명하기 어렵기 때문에, 이에 본 장에서는 SHAP 기반 특징 중요도 분석을 통해 전환구간 판별에 기여하는 핵심 특징을 분석한다.

3. SHAP 분석 결과 해석

SHAP 기반 중요도 분석 결과는 도메인 전환구간에서의 판단 불안정성이 단일 특징에 의해 발생하는 것이 아니라, 분류 확률 변화, 시각적 통계 변화, 구조적 불연속성, 그리고 동적 변화가 복합적으로 작용한 결과임을 보여준다. 특히 분류 확률 기반 특징과 시각적, 구조적 특징이 함께 높은 기여도를 보였다는 점은, 전환구간에서 분류 결과의 변동이 단순한 모델 오차가 아니라 입력 시각 정보의 구조적 변화와 밀접하게 연관되어 있음을 의미한다.

분석 결과로는 도메인 전환구간 판별을 위해 모든 특징을 동일하게 활용하기보다는, SHAP 분석을 통해 선별된 핵심 특징을 중심으로 판단 구조를 설계하는 것이 효과적임을 시사한다. 나아가 이후 장에서 제안하는 시계열 기반 전환 탐지 및 판단 안정화 기법에서 입력 특징을 구성하는 근거로 활용된다. 그림 4는 SHAP 값을 기반으로 각 특징이 전환구간 판별에 미치는 영향을 요약하고, 전체 30개 특징 중 기여도가 높은 상위 14개 특징이 핵심 입력으로 선정되었음을 나타내고, 선택된 특징들의 의미적 특성을 명확히 하기 위해 특징 범주별로 정리하여 표 1에 제시하였다. 그림 5는 선별된 핵심 특징을 입력으로 한 BiLSTM [28], TCN(1D CNN) [29], Tiny Transformer [30]의 프레임 단위 출력 변동과, EMA 및 HMM을 적용한 판단 안정화 결과를 전환구간에서 비교하여 제시한다.

Fig. 4.

SHAP-based feature importance distribution and selection results of the top 14 key features.

Table 1.

Summary of the Top-14 features based on SHAP importance distribution.

Fig. 5.

Comparison of time-series classification model outputs and decision stabilization results based on EMA and HMM using the selected features.

V. 시계열 분류 및 안정화 기법을 통한 도메인 전환구간 판별 성능 분석

SHAP 기반 중요도 분석을 통해 선별된 상위 14개 특징을 입력으로 사용하여, 도메인 전환구간을 판별하기 위한 분류 모델을 먼저 구축하였다. 기존 단일 프레임 기반 분류 모델과 동일한 설정 하에서, BiLSTM, TCN, Tiny Transformer와 같은 시계열 기반 모델을 적용하여 실내, 전환구간, 실외 상태를 직접 분류하도록 학습하였다. 이를 통해 전환구간에서의 도메인 변화가 보다 명확히 반영되었으며, 단일 프레임 기반 분류 방식 대비 전환구간 검출 성능과 스위칭 빈도가 전반적으로 감소하는 경향을 확인하였다. 그러나 시계열 기반 분류 모델을 적용한 경우에도, 전환구간과 같이 시각적 특성이 혼재된 구간에서는 프레임 간 분류 결과가 완전히 안정적으로 유지되기 어려운 한계가 관측되었다. 특히 전환 시작 및 종료 지점에서는 분류 확률의 단기적인 변동으로 인해 도메인 판단이 반복적으로 변화하는 현상이 여전히 발생하였다. 이는 전환구간 판별 자체는 가능해졌으나, 실제 로봇 시스템에 적용하기에는 판단 안정성 측면에서 추가적인 보완이 필요함을 의미한다. 이러한 판단 변동을 완화하기 위해, 본 연구에서는 EMA와 HMM 기반 안정화 기법을 추가적으로 적용하였다. EMA는 프레임별 분류 확률에 포함된 단기적인 노이즈를 제거하고 급격한 확률 변화를 완화함으로써, 도메인 판단 결과를 보다 부드럽게 유지하는 데 효과적인 기법이다. 반면 HMM은 시퀀스 전체의 시간적 맥락을 고려하여 도메인 상태를 추정함으로써, 전환구간에서 발생하는 빈번한 상태 전이를 구조적으로 억제할 수 있다는 장점을 가진다. 이에 따라 단일 프레임 기반 분류 모델(YOLOv11n-cls)과 시계열 기반 모델인 BiLSTM, TCN, Tiny Transformer 각각에 대해 EMA와 HMM 안정화 기법을 적용하고, 도메인 전환구간 판별 성능과 판단 안정성의 변화를 비교 및 분석하였다. 성능 평가는 F1-score와 평균 스위칭 횟수를 기준으로 수행하였다.

시계열 기반 모델을 적용한 경우 전반적으로 성능이 크게 향상되었으며, 전환구간에서의 판단 안정성 또한 유의미하게 개선되었다. BiLSTM의 경우 EMA 안정화를 적용했을 때 F1-score는 0.835로 크게 향상되었고, 평균 스위칭 횟수는 1.7 수준으로 감소하였다. HMM을 적용한 경우에도 스위칭 횟수는 유사한 수준을 유지하였으나, F1-score는 EMA 대비 다소 낮은 0.757로 나타났다. 이는 BiLSTM 구조가 시간적 의존성을 효과적으로 학습하더라도, 안정화 기법의 선택에 따라 전환구간 판별 성능이 달라질 수 있음을 보여준다.

TCN 기반 모델에서는 HMM 안정화 기법을 적용한 경우 가장 우수한 성능을 보였다. TCN+HMM 조합은 F1-score 0.847을 기록하였으며, 평균 스위칭 횟수는 1.0으로 비교 대상 중 가장 낮게 나타났다. 이는 TCN이 국소적인 시계열 패턴을 안정적으로 포착하는 구조적 특성과, HMM의 상태 전이 제약이 결합되면서 전환구간에서의 판단 변동을 효과적으로 억제한 결과로 해석할 수 있다. 반면 EMA를 적용한 TCN의 경우 스위칭 횟수는 감소하였으나, F1-score 측면에서는 상대적으로 낮은 성능을 보였다.

Tiny Transformer 모델의 경우 시계열 기반 구조임에도 불구하고, BiLSTM이나 TCN 대비 전반적인 성능은 다소 제한적으로 나타났다. EMA와 HMM을 적용한 경우 모두 스위칭 횟수는 일정 수준 감소하였으나, F1-score는 각각 0.630과 0.622로 나타나 전환구간 판별 정확도 측면에서는 상대적으로 낮은 성능을 보였다. 이는 제한된 데이터 규모와 특징 차원에서 Transformer 기반 모델이 충분한 표현력을 발휘하기 어려웠기 때문으로 해석될 수 있다. 표 2는 각 분류 모델에 안정화 기법을 적용했을 때의 F1-score와 스위칭 횟수 관점에서 비교한 결과를 나타낸다.

Table 2.

Comparison of F1-score and switching counts according to stabilization methods across models.

종합적으로 살펴보면, SHAP 기반으로 선별된 핵심 특징을 사용한 경우 모든 시계열 기반 모델에서 단일 프레임 기반 분류 방식 대비 전환구간 판별 성능과 판단 안정성이 크게 향상되었음을 확인할 수 있다. 특히 TCN과 HMM을 결합한 방식은 전환구간에서의 판단 정확도와 스위칭 억제 측면에서 가장 균형 잡힌 성능을 보였으며, 이는 도메인 전환구간과 같이 시각적 특성이 점진적으로 변화하는 상황에서 시계열 모델과 상태 기반 안정화 기법의 결합이 효과적임을 보여준다.

VI. 결론

본 연구에서는 재난환경과 같이 시각적 특성이 연속적으로 변화하는 상황에서 발생하는 도메인 전환구간을 주요 문제로 정의하고, 해당 구간에서 나타나는 판단 불안정성과 과도한 스위칭 현상을 체계적으로 분석하였다. 기존의 단일 프레임 기반 인식 방식은 전환구간에서 복합적인 시각적 변화와 시간적 연속성을 충분히 반영하지 못하며, 이로 인해 도메인 판단 결과가 빈번하게 변동되는 한계를 가진다는 점을 확인하였다.

이를 해결하기 위해, 본 연구에서는 전환구간에서의 시각적 불확실성을 정량적으로 표현할 수 있는 다차원 특징을 추출하고, SHAP 기반 특징 중요도 분석을 통해 전환구간 판별에 실질적으로 기여하는 핵심 특징을 선별하였다. 분석 결과, 분류 확률 및 엔트로피와 같은 불확실성 지표를 중심으로, 시각적 통계, 구조적 변화, 그리고 모션 특징이 복합적으로 전환구간 판단에 영향을 미친다는 점을 확인하였다. 이를 바탕으로 총 30개의 특징 중 상위 14개 핵심 특징을 최종 입력으로 채택하였다.

선별된 특징을 입력으로 하여 시계열 기반 분류 모델을 구축한 결과, BiLSTM, TCN, Tiny Transformer와 같은 모델들은 단일 프레임 기반 분류 방식 대비 전환구간 판별 성능과 스위칭 억제 측면에서 전반적인 성능 향상을 보였다. 그러나 시계열 분류 모델만으로는 전환 시작 및 종료 지점에서 발생하는 단기적인 판단 변동을 완전히 제거하기 어렵다는 한계 또한 확인되었다. 이에 따라 EMA와 HMM 기반 판단 안정화 기법을 추가적으로 적용하여 성능을 비교한 결과, 안정화 기법의 도입이 전환구간에서의 판단 일관성을 크게 향상시킬 수 있음을 확인하였다. 특히 TCN과 HMM을 결합한 방식은 높은 F1-score와 함께 가장 낮은 평균 스위칭 횟수를 기록하며, 전환구간 판별 정확도와 안정성 측면에서 가장 균형 잡힌 성능을 보였다. 이는 국소적인 시계열 패턴을 효과적으로 포착하는 TCN의 구조적 특성과, 상태 전이를 제약하는 HMM의 특성이 상호 보완적으로 작용한 결과로 해석할 수 있다.

본 연구의 결과는 도메인 전환구간과 같이 시각적 특성이 점진적으로 변화하는 환경에서, 단일 프레임 기반 판단을 넘어 시계열 정보와 상태 기반 안정화 기법을 결합하는 접근이 효과적임을 보여준다. 제안된 전환구간 판별 및 안정화 프레임워크는 재난 대응 로봇의 실시간 환경 인식 안정성을 향상시키는 데 기여할 수 있으며, 향후 연구에서는 전환구간에 대한 검증 데이터셋을 추가적으로 확장하여, 다양한 전환 패턴과 관측 조건에 대한 모델의 안정성과 재현성을 보다 정밀하게 평가할 예정이다. 또한 도메인 전환구간뿐만 아니라, 저조도, 우천으로 인한 반사, 안개와 같이 시각적 혼동이 빈번하게 발생하는 다양한 환경으로 실험 범위를 확장함으로써, 제안한 접근법의 일반화 성능과 실제 적용 가능성을 검증할 계획이다.

Acknowledgments

본 연구는 과학기술정보통신부의 신진연구지원 사업(No. 2021R1C1009219)과 2025년도 교육부 및 전북특별자치도의 재원으로 전북RISE센터의 지원을 받아 수행된 지역혁신중심 대학지원체계(RISE)의 결과임(2025-RISE-13-KSU), 또한 군산시의 지역맞춤형 전기차 클러스터 전문인력양성사업으로 지원된 연구임.

이 논문은 2025 ICROS-KROS 호남제주 그랜드 합동 학술대회에 초안이 발표되었음.

REFERENCES

• M. S. Alam, T. Kijewski-Correa, D. B. Roueche, K. M. Mosalam, D. O. Prevatt, and I. Robertson, “A unified framework for post-disaster hazard and structural assessment data collection across hazards and infrastructure typologies,” Frontiers in Built Environment, vol. 11, 1546616, 2025. [https://doi.org/10.3389/fbuil.2025.1546616]
• F. Kürüm Varolgüneş and S. Varolgüneş, “Post-earthquake fires (PEFs) in the built environment: A systematic and thematic review of structural risk, urban impact, and resilience strategies,” Fire, vol. 8, no. 6, 233, 2025. [https://doi.org/10.3390/fire8060233]
• S. H. Jo, J. Woo, C. H. Kang, and S. Y. Kim, “Damage detection and segmentation in disaster environments using combined YOLO and Deeplab,” Remote Sensing, vol. 16, no. 22, 4267, 2024. [https://doi.org/10.3390/rs16224267]
• M. Kargin, R. Lukpanov, A. Serenkov, Y. Shaymagambetov, J. Kargin, R. Garcia, and I. Laory, “An innovative structural health assessment tool for existing precast concrete buildings using deep learning methods and thermal infrared satellite imagery,” Journal of Civil Structural Health Monitoring, vol. 13, no. 2, pp. 561-578, 2023. [https://doi.org/10.1007/s13349-022-00655-4]
• M. Maboudi, J. Backhaus, I. Mai, Y. Ghassoun, Y. Khedar, D. Lowke, and M. Gerke, “Very high resolution bridge deformation monitoring using UAV-based photogrammetry,” Journal of Civil Structural Health Monitoring, pp. 1-20, 2025. [https://doi.org/10.1007/s13349-025-01001-0]
• M. M. Torok, M. G. Fard, and K. B. Kochersberger, “Post-disaster robotic building assessment: Automated 3D crack detection from image-based reconstructions,” In Computing in Civil Engineering 2012, pp. 397-404, 2012. [https://doi.org/10.1061/9780784412343.0050]
• S. H. Jo, J. Woo, C. H. Kang, and S. Y. Kim, “Damage detection and segmentation in disaster environments using combined YOLO and Deeplab,” Remote Sensing, vol. 16, no. 22, 4267, 2024. [https://doi.org/10.3390/rs16224267]
• H. Surmann, K. Daun, M. Schnaubelt, O. von Stryk, M. Patchou, S. Böcker, and I. Kruijff-Korbayová, “Lessons from robot-assisted disaster response deployments by the German Rescue Robotics Center task force,” Journal of Field Robotics, vol. 41, no. 3, pp. 782-797, 2024. [https://doi.org/10.1002/rob.22275]
• S. M. Hong, C. H. Kang, and S. Y. Kim, “Structure segmentation-based crack detection and performance enhancement in disaster environments,” Journal of Civil Structural Health Monitoring, in press.
• S. M. Hong, H. S. Kim, C. H. Kang, and S. Y. Kim, “Analysis of crack detection performance according to detection distance and viewing angle variations,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 31, no. 7, pp. 818-824, Jul. 2025. [https://doi.org/10.5302/J.ICROS.2025.24.8009]
• X. Pan, S. Tavasoli, T. Y. Yang, and S. Poorghasem, “Post-disaster building indoor damage and survivor detection using autonomous path planning and deep learning with unmanned aerial vehicles,” arXiv preprint arXiv:2503.10027, , 2025. [https://doi.org/10.2749/tokyo.2025.2009]
• K. Rado, M. Baglioni, and A. Jamshidnejad, “Enabling robots to autonomously search dynamic cluttered post-disaster environments,” Scientific Reports, vol. 15, no. 1, 34778, 2025. [https://doi.org/10.1038/s41598-025-18573-y]
• E. A. Rodríguez-Martínez, W. Flores-Fuentes, F. Achakir, O. Sergiyenko, and F. N. Murrieta-Rico, “Vision-based navigation and perception for autonomous robots: Sensors, SLAM, control strategies, and cross-domain applications—A review,” Eng, vol. 6, no. 7, 153, 2025. [https://doi.org/10.3390/eng6070153]
• M. Mancini, S. R. Bulo, B. Caputo, and E. Ricci, “Robust place categorization with deep domain generalization,” IEEE Robotics and Automation Letters, vol. 3, no. 3, pp. 2093-2100, 2018. [https://doi.org/10.1109/LRA.2018.2809700]
• Y. Zhu, H. Luo, Q. Wang, F. Zhao, B. Ning, Q. Ke, and C. Zhang, “A fast indoor/outdoor transition detection algorithm based on machine learning,” Sensors, vol. 19, no. 4, 786, 2019. [https://doi.org/10.3390/s19040786]
• J. Yoo, “Seamless indoor–outdoor localization through transition detection,” Electronics, vol. 14, no. 13, 2598, 2025. [https://doi.org/10.3390/electronics14132598]
• H. S. Maghdid, I. A. Lami, K. Z. Ghafoor, and J. Lloret, “Seamless outdoors-indoors localization solutions on smartphones: Implementation and challenges,” ACM Computing Surveys (CSUR), vol. 48, no. 4, pp. 1-34, 2016. [https://doi.org/10.1145/2871166]
• S. Y. Kim and C. H. Kang, “Indoor facility damage detection and extraction algorithm based on DeepLab V2,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 29, no. 3, pp. 258-263, Mar. 2023. [https://doi.org/10.5302/J.ICROS.2023.23.0011]
• K. Zhou, Z. Liu, Y. Qiao, T. Xiang, and C. C. Loy, “Domain generalization: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 4, pp. 4396-4415, 2022.
• S. Fabbrizzi, S. Papadopoulos, E. Ntoutsi, and I. Kompatsiaris, “A survey on bias in visual datasets,” Computer Vision and Image Understanding, vol. 223, 103552, 2022. [https://doi.org/10.1016/j.cviu.2022.103552]
• S. M. Lundberg and S. I. Lee, “A unified approach to interpreting model predictions,” Advances in Neural Information Processing Systems, vol. 30, 2017.
• R. J. Hyndman, A. B. Koehler, R. D. Snyder, and S. D. Grose, “A state space framework for automatic forecasting using exponential smoothing methods,” International Journal of Forecasting, vol. 18, no. 3, pp. 439-454, 2002. [https://doi.org/10.1016/S0169-2070(01)00110-8]
• L. R. Rabiner, “A tutorial on hidden Markov models and selected applications in speech recognition,” Proceedings of the IEEE, vol. 77, no. 2, pp. 257-286, Feb. 1989. [https://doi.org/10.1109/5.18626]
• B. Zhou, H. Zhao, X. Puig, S. Fidler, A. Barriuso, and A. Torralba, “Scene parsing through ADE20K dataset,” Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 5122-5130, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.544]
• G. Jocher, A. Chaurasia, and J. Qiu, “Ultralytics YOLO11,” Sep. 2024. https://github.com/ultralytics/ultralytics
• C. H. Kang and S. Y. Kim, “Real-time object detection and segmentation technology: an analysis of the YOLO algorithm,” JMST Advances, vol. 5, no. 2, pp. 69-76, 2023. [https://doi.org/10.1007/s42791-023-00049-7]
• S. Y. Kim and C. H. Kang, “Performance analysis of Re-ID in YOLOv9 and BoT-SORT algorithm for multi-object detection and tracking,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 31, no. 2, pp. 160-165, Feb. 2025. [https://doi.org/10.5302/J.ICROS.2025.24.0234]
• M. Schuster and K. K. Paliwal, “Bidirectional recurrent neural networks,” IEEE Transactions on Signal Processing, vol. 45, no. 11, pp. 2673-2681, Nov. 1997. [https://doi.org/10.1109/78.650093]
• S. Bai, J. Z. Kolter, and V. Koltun, “An empirical evaluation of generic convolutional and recurrent networks for sequence modeling,” arXiv preprint arXiv:1803.01271, , Mar. 2018.
• A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” in Advances in Neural Information Processing Systems 30, pp. 5998-6008, Dec. 2017.