컴퓨터 비전 : 모션 (Motion)

1. 동적 비전이란?

정지 영상의 분석과 달리, 모션 분석은 시간에 따른 영상의 변화를 추적하는 컴퓨터 비전 기술이다.
감시 카메라, 스포츠 분석, 자율 주행, 제스처 인식, 영상 검색 등에서 폭넓게 사용된다.

---

2. 모션의 표현: 모션 벡터와 모션 필드

2.1 모션 벡터

• 영상 내 특정 지점이 다음 프레임에서 얼마나, 어디로 이동했는지를 2차원 벡터로 표현
• 물체의 움직임이나 카메라 이동 등을 분석하는 기본 단위

2.2 모션 필드

• 영상의 모든 화소에 대해 정의된 모션 벡터들의 장(field)
• 실제 세계의 물리적 운동이 2차원 영상에 투영된 결과
• 이론적 참값으로 간주되지만, 실제 영상에서는 근사적으로만 계산 가능
• 깊이 차이, 가려짐(occlusion), 조명 변화 등으로 인해 정확한 추정이 어렵다

---

3. 배경 제거와 차 영상

• 차 영상은 두 프레임 간 밝기 차이를 통해 움직이는 영역을 검출
• 단순하고 빠르지만, 조명 변화나 그림자에는 약함
• 배경 영상과 실시간 프레임을 비교하여 움직임을 판단

---

4. 광류(Optical Flow)

4.1 개념

• 인접 프레임 간 밝기 패턴의 움직임을 기반으로 물체의 이동을 추정
• 물체 인식 없이도 픽셀 수준에서의 움직임 파악이 가능
• 대표 알고리즘:
  • Lucas-Kanade: 지역 기반, 계산 효율적
  • Horn-Schunck: 전역 기반, 매끄러운 흐름 생성

4.2 조건과 한계

• 밝기 값이 시간에 따라 일정하다는 가정이 핵심
• 빠른 이동, 가림 현상, 밝기 변화에서는 정확도 저하

4.3 활용

• 제스처 인식, 객체 추적, 로봇 항법, 전방 물체 예측 등
• FOE(Focus of Expansion) 분석을 통해 카메라 전방의 물체 접근 방향 추정 가능

---

5. KLT 추적 알고리즘

KLT(Kanade-Lucas-Tomasi)는 신뢰성 있는 코너 특징점만을 추적하는 알고리즘이다.

• 먼저 추적에 적합한 코너 특징점을 선택하고, 이를 Lucas-Kanade 방식으로 추적
• 추적 대상은 두 방향으로 명암 변화가 커야 함 (즉, 코너여야 함)
• 너무 가까운 특징점은 제거하고, 일정 기준 이상 신뢰도가 떨어지면 추적 종료
• OpenCV에서도 기본으로 지원되며, 증강현실, 얼굴 추적, 객체 추적 등에 널리 사용됨

---

6. 큰 이동 추적과 보간

• 대부분의 광류 알고리즘은 작은 이동을 가정하므로 큰 이동에 약함
• 큰 이동 추적을 위해 희소한 대응점을 잡고, 그 사이를 보간해 전체 흐름을 구성
• 예: 빠르게 휘두르는 팔, 이동 중인 차량

---

7. 광류 추정 알고리즘 요약

알고리즘	특징	장점	단점
Lucas-Kanade	지역 기반	계산 효율, 간단	희소 추정
Horn-Schunck	전역 기반	밀집 추정 가능	경계 불명확
Bruhn 등	결합형	정밀도와 밀도 균형	연산량 큼

---

8. 고급 기법

• MRF 기반: 공간적 일관성 반영
• Graph-Cut 기반: 다중 결과 융합
• 딥러닝 기반: FlowNet, DeepFlow 등으로 실시간 고정확도 추정 가능

---

9. 응용 사례

• 제스처 인식: 손의 방향이나 움직임으로 명령 수행
• 자율 주행: 전방 장애물의 이동 경로 예측
• 비디오 분석: 사람이나 물체의 궤적 추적, 움직임 분류
• 비디오 안정화: 떨린 영상을 보정하여 부드러운 영상 생성

---

10. 요약

항목	설명
모션 벡터	한 지점의 이동 정보
모션 필드	전체 화소의 모션 벡터 장
차 영상	움직이는 부분 검출
광류	밝기 변화 기반의 픽셀 추적
KLT 추적	안정적인 코너 특징점만 추적
큰 이동 보간	희소 대응점 기반 보간 처리
FOE	카메라 전방의 수렴점 추정
활용	추적, 인식, 분석, 보정 등

---

참고: 컴퓨터비전(저자: 오일석)