야간 자율주행의 핵심? Thermal Segmentation 도메인 적응 끝판왕 Boosting Cross Spectral Unsupervised Domain Adaptation

오늘 소개드릴 논문은 Boosting Cross-Spectral Unsupervised Domain Adaptation for Thermal Semantic Segmentation입니다. 이 논문은 RGB(주간 이미지)에서 학습한 모델을 Thermal(야간 적외선 이미지)로 라벨 없이 적응시키는 방법을 다룹니다. 특히 자율주행, 감시 시스템처럼 야간 환경에서 안정적인 인식이 필요한 분들이라면 꼭 읽어볼 만한 논문입니다. 기존 문제는 꽤 명확합니다. RGB 데이터는 라벨이 풍부하지만, Thermal 데이터는 라벨링이 거의 없고 비용도 큽니다. 그래서 보통 RGB로 학습 → Thermal에 그대로 적용하면 성능이 크게 떨어집니다. 이걸 해결하기 위해 UDA(비지도 도메인 적응)를 쓰지만, RGB ↔ Thermal 간 스펙트럼 차이(cross-spectral gap)가 너무 커서 기존 방법들이 잘 안 먹히는 문제가 있습니다. 이 논문의 핵심 아이디어는 “점진적으로, 그리고 안정적으로 적응시키자(Boosting)”입니다. Pseudo Label을 점진적으로 개선 처음에는 RGB 기반 모델이 Thermal 이미지에 대해 부정확한 예측을 합니다. 하지만 이걸 그냥 쓰는 게 아니라, 신뢰도 기반으로 필터링 + 점진적으로 업데이트하면서 pseudo label 품질을 계속 끌어올립니다. Cross-Spectral 간 Feature Alignment RGB와 Thermal은 단순 스타일 차이가 아니라 센서 자체가 다릅니다. 그래서 이 논문은 feature 공간에서 두 도메인을 맞추는 과정에서 클래스 단위로 정렬(class-wise alignment)을 수행해 semantic consistency를 유지합니다. Self-Training + Boosting 구조 한 번에 적응하는 게 아니라, 모델 → pseudo label → 재학습 → 더 좋은 pseudo label 이런 식으로 반복하면서 점점 성능을 올립니다. 이게 일종의 boosting처럼 작동해서 초기 노이즈 문제를 줄여줍니다. 정리하면 이 논문은 단순한 UDA가 아니라 cross-spectral 특성(가시광 vs 열영상)을 제대로 고려했고 noisy한 pseudo label 문제를 점진적 개선 구조로 해결했으며 실제로 야간 Thermal segmentation에서 기존 방법 대비 안정적인 성능 향상을 보여줍니다. 오늘날 diffusion이나 multimodal foundation model이 뜨고 있지만, 이 논문은 여전히 중요한 메시지를 줍니다: 👉 “데이터가 없으면 생성하는 게 아니라, 잘 적응시키는 것도 강력한 전략이다”