컴퓨터 비전 : Lucas-Kanade와 Horn-Schunck 완전 정리

컴퓨터 비전에서 Optical Flow(광류)는 연속된 이미지 프레임에서 같은 물체의 움직임을 추정하는 기술이다. 대표적인 방법으로는 Lucas-Kanade와 Horn-Schunck 알고리즘이 있으며, 두 방식은 접근 방식부터 철학까지 뚜렷이 다르다. 특히 "스무딩"이라는 개념을 어떻게 다루느냐에서 본질적인 차이를 가진다.

1. Optical Flow란?

Optical Flow는 시간에 따라 물체의 움직임을 픽셀 단위로 추적하는 것. 이를 위해 일반적으로 다음과 같은 가정을 한다:

• 밝기 불변 가정 (Brightness Constancy)
  움직임이 있어도 픽셀 밝기는 유지된다.
  $$ I(x, y, t) = I(x + u, y + v, t + 1) $$

• 작은 움직임 (Small Motion)
  움직임이 작다고 가정하고 테일러 전개 등으로 근사한다.

---

2. Lucas-Kanade 알고리즘

2.1 기본 개념

Lucas-Kanade는 로컬(지역) 기반 방법으로, 한 점의 움직임을 추정할 때 그 주변 픽셀들도 같은 움직임을 한다고 가정한다.

2.2 수식 유도

밝기 불변 가정과 테일러 전개를 기반으로 다음 선형 방정식을 얻는다:

$$
I_x u + I_y v = -I_t
$$

여기서:

• ( I_x, I_y ): 공간 방향 그래디언트
• ( I_t ): 시간 방향 그래디언트
• ( u, v ): 각 점의 움직임

이 한 개의 방정식으로는 ( u, v )를 동시에 구할 수 없기 때문에, 윈도우(예: 5x5) 내 여러 점에서 같은 움직임을 가진다고 가정하여 최소제곱법으로 해를 구한다.

2.3 특징

• 로컬 영역에서 계산
• 작은 움직임에 강함
• 윈도우 크기가 커질수록 흐름이 부드러워지지만, 경계 정보 손실 가능

---

3. Horn-Schunck 알고리즘

3.1 기본 개념

Horn-Schunck는 전역(global) 방식으로, 전체 영상에서 동시에 모든 픽셀의 움직임을 추정한다. 이 때 "모든 광류는 매끄럽게 변화한다"는 스무딩 조건을 에너지 항으로 추가한다.

3.2 에너지 최소화

Horn-Schunck는 다음 에너지 함수를 최소화한다:

$$
E(u, v) = \iint \left[ (I_x u + I_y v + I_t)^2 + \alpha^2 (|\nabla u|^2 + |\nabla v|^2) \right] dx dy
$$

• 첫 번째 항: 밝기 불변성 (데이터 항)
• 두 번째 항: 광류의 부드러움 (스무딩 항)
• ( \alpha ): 스무딩 정도를 조절하는 파라미터

3.3 특징

• 영상 전체를 고려하는 전역 최적화 방식
• 흐름이 연속적으로 연결되어 있음
• 노이즈에 강하지만 경계가 희석됨
• 계산량이 많고 반복 최적화가 필요

---

4. Lucas-Kanade에서 윈도우를 크게 하면 Horn-Schunck와 같아질까?

4.1 겉보기의 유사성

• Lucas-Kanade에서 윈도우 크기를 키우면 부드러운 흐름이 나타난다.
• Horn-Schunck도 전역적으로 스무딩된 흐름을 생성한다.

하지만 수학적, 개념적 접근은 전혀 다르다.

4.2 결정적 차이

항목	Lucas-Kanade (큰 윈도우)	Horn-Schunck
스무딩 방식	윈도우 내 같은 흐름 가정 (고정된 지역 평균)	전체 영상에서 연속성 강제 (전역 에너지 최소화)
수식 해법	선형 방정식 최소제곱 해 (닫힌 해 존재)	반복적인 수치 해법 (편미분 방정식 기반)
경계 처리	윈도우 내 물체 경계 무시됨	경계에서 흐름이 퍼짐
계산 범위	고정된 지역 윈도우	영상 전체에 적용
결과 성격	지역적으로 일정한 흐름	부드럽고 연속적인 전체 흐름

---

5. 요약

• Lucas-Kanade는 지역 기반, 간단하고 빠르며 코너 등 강한 특징점에서 정확함.
• Horn-Schunck는 전역 기반, 흐름이 연속적이지만 계산 비용이 높고 경계 표현이 부정확할 수 있음.
• 두 방식은 표면적으로 스무딩된 결과를 제공하지만, 수학적 모델과 철학은 전혀 다르다.
• Lucas-Kanade의 윈도우를 키운다고 Horn-Schunck가 되지는 않는다.

---

참고

• Lucas & Kanade (1981), “An Iterative Image Registration Technique with an Application to Stereo Vision”
• Horn & Schunck (1981), “Determining Optical Flow”