Enhancing Lightweight IRSR Models via Knowledge Distillation

프로젝트 개요

IR(적외선) Image Super Resolution 분야에 Knowledge Distillation 기법을 최초로 도입한 학습 프레임워크를 제안한 연구입니다. 열영상 이미지 초해상도 모델(IRSR)에 Knowledge Distillation을 적용하여 경량화된 모델의 성능을 향상시켰습니다. 이 연구는 ICTC 2025 학회에 투고되어 Oral Session에서 발표되었습니다.

적외선 이미지는 가시광선 이미지와 다른 특성을 가지며, 특히 열 정보와 구조적 특징이 중요합니다. 본 연구는 이러한 IR 이미지의 특성을 고려한 Knowledge Distillation 방법론을 제안했습니다.

연구 배경 및 동기

IR Image Super Resolution은 방산, 보안, 의료 등 다양한 분야에서 중요한 기술입니다. 그러나 고성능 모델은 파라미터 수가 많아 실시간 추론이 어렵고, 경량 모델은 성능이 낮은 문제가 있습니다. Knowledge Distillation은 Teacher 모델의 지식을 Student 모델에 전달하여 경량화와 성능 향상을 동시에 달성할 수 있는 방법입니다.

기존 Knowledge Distillation 연구는 주로 가시광선 이미지에 초점을 맞추고 있어, IR 이미지의 특성을 고려한 연구가 필요했습니다.

주요 기여사항

• IR 특화 Loss Function 설계: IR 이미지에 특화된 Sobel Transform 기반 Structural Loss와 Spectral Loss 개발
• DCKD 최적화: 적외선 영상 특성에 맞춘 Teacher-Student Knowledge Distillation 프레임워크 설계
• 실험 검증: 3개 데이터셋, 2개 모델 조합, ×2/×4 배율 실험과 Ablation Study 수행

기술적 방법론

실험 및 결과

제안한 방법론은 기존의 일반적인 학습 프레임워크 대비 PSNR 기준 4%의 성능 향상을 달성했습니다. 경량화된 Student 모델에서도 Teacher 모델에 근접한 성능을 보여주었으며, 추론 속도는 크게 향상되었습니다.

Ablation Study에서 Sobel Loss는 +0.08dB, Spectral Loss는 +0.02dB, 두 Loss의 결합은 +0.10dB 향상을 보여 IR 이미지의 구조·주파수 특성을 함께 보존하는 효과를 확인했습니다.

학술적 성과

본 연구는 ICTC 2025 (International Conference on ICT Convergence)에 투고되어 Oral Session에서 발표되었습니다. IR Image Super Resolution 분야에 Knowledge Distillation을 적용한 최초의 연구로서 학술적 가치를 인정받았습니다.

배운 점

• Knowledge Distillation의 이론과 실무 적용 방법
• IR 이미지의 특성과 처리 방법
• 도메인 특화 Loss Function 설계 경험
• 학술 논문 작성 및 학회 발표 경험
• Super Resolution 분야의 최신 연구 동향