프로젝트 개요
여러 드론 영상의 동일 객체를 하나의 전역 ID로 통합 추적하는 detection-agnostic Multi-Camera Multi-Object Tracking 파이프라인을 개발했습니다. 탐지기와 추적기에 독립적인 구조로 설계해 다양한 모델을 교체해 사용할 수 있습니다.
주요 역할
- YOLO와 ByteTrack 기반 실시간 Local Object Tracker 구현
- 센서 정보와 시각 특징을 결합한 Cross-Camera Re-Identification 설계
- Isaac Sim 기반 드론 시뮬레이터 및 1,000프레임 이상 벤치마크 데이터셋 구축
- Detector·Tracker·Matcher 비교 실험과 Ablation Study 수행
핵심 기여
1. Detection-Agnostic Tracking Pipeline
- Object Detector → Local Tracker → Global Matcher → Global Re-Identification 파이프라인 구성
- Detector와 Tracker를 독립 모듈로 분리해 모델 교체와 Fine-tuning 결과를 유연하게 적용
2. Hybrid Cross-Camera Matching
- Sensor Matching: GPS·Gimbal·Camera Parameter를 활용해 픽셀을 UTM 세계 좌표로 변환하고 객체 간 거리를 비교
- Visual Matching: LoFTR 특징점과 BEV 재투영으로 Bounding Box 간 시각적 일치 여부 검증
- Hybrid Mode: 센서 노이즈 상황에 따라 ID Switch가 적은 결과를 선택하도록 두 방식을 결합
3. 제약 기반 Global Clustering
- 동일 클러스터 안에 같은 카메라의 객체가 중복될 수 없다는 제약을 반영한 Kruskal 알고리즘 변형
- 카메라 시야 중첩 여부를 사전 판단해 불필요한 Feature Matching 연산 생략
4. Isaac Sim Dataset
- 고도 변화가 있는 산길을 여러 차량이 주행하는 다중 드론 환경 구현
- 드론 센서·카메라 파라미터·지형·객체 위치의 정확한 Annotation 자동 생성
정량 성과
- BEV 재투영 적용 후 Feature Matching 불일치 그룹 1,091개 → 14개로 98.7% 감소
- 센서 노이즈 환경에서 Hybrid Mode 적용 시 MOTA +16.7%p, IDSW -61%
- 변형 Kruskal 적용 후 IDSW 122 → 0, MOTA 0.9955 → 1.0000
- End-to-End MOTA 0.913~0.916으로 Matrix Proposed(0.886) 대비 우수한 성능 확보
- 학습 시간 2일 → 44분, mAP50 0.994 달성
- YOLO 포함 8.5 FPS, Detector 분리 시 Local/Global Matching 약 10 FPS 확보
배운 점
- Multi-View Aggregation과 Multi-Object Tracking의 구조 및 한계
- 카메라 파라미터를 활용한 Cross-Camera Aggregation 방법론
- LoFTR와 SIFT를 활용한 Multi-View Feature Matching
- Isaac Sim 기반 시뮬레이션과 벤치마크 데이터셋 생성