프로젝트 개요
다중 드론에서 촬영된 영상 속 다중 객체를 추적하고 재식별(Re-Identification)하는 시스템을 개발하고 있습니다. 여러 드론의 카메라에서 촬영된 영상에서 동일한 객체를 식별하고 추적하는 것이 주요 목표입니다.
본 프로젝트는 실시간 객체 추적, 다중 카메라 간 객체 재식별, GPS 위치 추정 등의 기능을 포함합니다.
주요 역할
- Real Time Object Tracker 구현
- 다중 객체 Re-Identification 구현
- 시뮬레이터 개발
- 데이터셋 구축
주요 성과
1. 단일 카메라 객체 추적
- YOLO + Kalman Filter: YOLO를 활용한 객체 검출과 Kalman Filter를 결합한 실시간 객체 추적 시스템 구현
- 안정적인 추적: Kalman Filter를 통해 객체의 위치와 속도를 예측하여 일시적인 검출 실패에도 안정적인 추적 유지
2. GPS 위치 추정
- IMU 정보 활용: 드론의 IMU(Inertial Measurement Unit) 정보와 카메라 파라미터를 활용하여 객체의 GPS 위치 추정
- 카메라 파라미터: 카메라의 내부/외부 파라미터를 사용하여 이미지 좌표를 3D 공간 좌표로 변환
3. 다중 카메라 객체 Re-ID
- BFS 알고리즘: Breadth-First Search 알고리즘을 활용하여 다중 카메라 간 객체 매칭
- SORT 모델: Simple Online and Realtime Tracking (SORT) 모델을 활용한 객체 추적 및 재식별
- 다중 뷰 통합: 여러 드론의 카메라에서 촬영된 동일 객체를 식별하고 통합 추적
4. 시뮬레이터 개발
- IsaacSIM 활용: IsaacSIM 시뮬레이터로 드론 카메라 움직임 구현
- 데이터셋 생성: 학습 및 추론에 필요한 데이터셋을 시뮬레이터를 통해 생성
- 스트리밍 서버: 시뮬레이터에서 생성된 영상을 실시간으로 스트리밍하는 서버 연결 구현
기술적 접근 방법
1단계: 객체 검출 및 추적
각 드론의 카메라 영상에서 YOLO를 사용하여 객체를 검출하고, Kalman Filter를 통해 객체를 추적합니다.
2단계: GPS 위치 추정
검출된 객체의 이미지 좌표와 드론의 IMU 정보, 카메라 파라미터를 활용하여 객체의 실제 GPS 위치를 추정합니다.
3단계: 다중 카메라 Re-ID
BFS 알고리즘과 SORT 모델을 활용하여 여러 드론의 카메라에서 촬영된 동일 객체를 식별하고 매칭합니다.
배운 점
- Kalman Filter 및 Object Tracking 개념 및 구현
- IsaacSIM 시뮬레이터 활용 방법 및 스트리밍 서버 연결 구현
- 다중 카메라 환경에서의 객체 재식별 방법론
- GPS 위치 추정을 위한 카메라 캘리브레이션 및 좌표 변환
- Git을 활용한 협업 방법 및 Issue 및 Branch 관리 방법 고안
- 팀 프로젝트에서의 역할 분담 및 협업 경험