선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 회전, 병진 및 줌 흔들림 영상에 대한 디지털 영상 안정화 기법을 제시한다. 지역 움직임 추정에서 특징점을 기반으로 스케일을 구하고 3차원으로 확장하여 영상의 깊이를 구한다.
- 본 논문은 영상에서 외란이 복합적으로 존재하는 경우에 대하여 새로운 디지털 안정화 기법을 제안하였다. 지역 움직임 추정에서는 줌 움직임이 포함된 경우를 고려하여 2차원의 영상을 3차원으로 확장하여 특징점 기반의 움직임 벡터를 구하였다.
제안 방법
- 또한, 제시된 방법의 실제 영상 시스템의 적용 가능성을 확인하기 위하여 100개의 연속적인 영상에 대하여 실험을 수행하였다. 각각의 영상에 인가된 움직임은 회전 각도가 정현파의 형태로 변화하도록 하였으며 불규칙하게 병진 움직임과 줌 움직임을 가지도록 하였다. 회전, 병진 그리고 줌 움직임이 각각 따로 존재하는 경우와 복합적으로 존재하는 경우 등 모든 조건에 등가 모델을 적용하여 안정화의 성능이 검토되도록 하였다.
- 식 (6)에서 회전 각도를 롤의 각도로, 병진 움직임을 ∆x, ∆y, 스케일을 계산한 줌의 움직임을 ∆z 에 대입하고 식 (8)의 방정식을 계산한 결과, 3차원 좌표계에서 등가 모델의 계산값인 식 (7)의 회전 중심 α, β, γ, 회전각도 R, P, Y를 구하였다. 또한 특징점 개수만큼의 방정식을 각각 계산하는 대신 3차원 등가 구 모델에 대한 추정값을 구하였다. 식 (9)~(18)과 같이 회전 중심을 구하고, 식 (19)~(22)과 같이 회전 각도를 구한 전역 움직임 추정한 결과를 비교하여 계산된 값과 근사한 결과를 얻을 수 있음을 확인하였다.
- 본 연구에서는 전역 움직임을 3차원 모델로 확장된 지역 움직임을 통하여 추정하였다. 회전, 병진, 줌 움직임이 모두 포함된 3차원 좌표계로 확장한 움직임 벡터로 전역 움직임을 추정하면 각 화소의 움직임을 식 (6)과 같이 나타낼 수 있다.
- 영상에서 스케일량을 알기 위하여 제시한 방법은 2차원의 기준 영상에서 특징점간 거리와 움직임이 포함된 영상에서 대응되는 특징점간 거리의 크기 변화를 구하는 것이다.
- 이에 반해 특징점 기반의 국부적 움직임 추정은 회전 변화 등의 외부 조건에 둔감하게 작용하며, 영상의 변화가 큰 경우에도 강인하게 특징을 가지는 화소를 추출할 수 있다. 이에 본 연구에서는 계산량 부담이 적은 해리스 코너 추출(Harris corner detection) 알고리즘[3]을 이용하여 영상의 특징점을 추출하였으며, 기준 영상과 움직임이 포함된 영상의 특징점을 비교하여 지역 움직임을 추정하였다[4].
- 전역 움직임 추정에서는 회전, 병진 및 줌 흔들림을 하나의 등가 모델로 표현할 수 있음을 보이고 이등가 모델을 기반으로 회전 각도 및 중심을 추정하는 방법을 제시한다.
- 본 논문에서는 회전, 병진 및 줌 흔들림 영상에 대한 디지털 영상 안정화 기법을 제시한다. 지역 움직임 추정에서 특징점을 기반으로 스케일을 구하고 3차원으로 확장하여 영상의 깊이를 구한다. 전역 움직임 추정에서는 회전, 병진 및 줌 흔들림을 하나의 등가 모델로 표현할 수 있음을 보이고 이등가 모델을 기반으로 회전 각도 및 중심을 추정하는 방법을 제시한다.
- 본 논문은 영상에서 외란이 복합적으로 존재하는 경우에 대하여 새로운 디지털 안정화 기법을 제안하였다. 지역 움직임 추정에서는 줌 움직임이 포함된 경우를 고려하여 2차원의 영상을 3차원으로 확장하여 특징점 기반의 움직임 벡터를 구하였다. 전역 움직임 추정에서는 회전, 병진, 줌 움직임을 구분하여 각각의 움직임을 추정하는 대신 등가의 회전 모델을 제시하여, 회전 중심과 회전 각만으로 움직임을 추정할 수 있음을 수식을 통하여 증명하였다.
- 각각의 영상에 인가된 움직임은 회전 각도가 정현파의 형태로 변화하도록 하였으며 불규칙하게 병진 움직임과 줌 움직임을 가지도록 하였다. 회전, 병진 그리고 줌 움직임이 각각 따로 존재하는 경우와 복합적으로 존재하는 경우 등 모든 조건에 등가 모델을 적용하여 안정화의 성능이 검토되도록 하였다. 그림 8, 9와 10은 100개의 영상에서 회전 중심과 회전 각도이며 연속되는 영상에서도 각각의 움직임이 3차원의 회전중심과 오일러 각으로 표현됨을 나타낸다.
대상 데이터
- 320Ⅹ240크기의 실영상을 사용하여 실험을 수행하였다. 그림 5와 같이 기준 영상과 복합적인 움직임이 포함된 영상에서 특징점을 추출하였으며, 이 특징점들을 통하여 그림 6과 같이 지역 움직임을 구하였다.
- 또한, 제시된 방법의 실제 영상 시스템의 적용 가능성을 확인하기 위하여 100개의 연속적인 영상에 대하여 실험을 수행하였다. 각각의 영상에 인가된 움직임은 회전 각도가 정현파의 형태로 변화하도록 하였으며 불규칙하게 병진 움직임과 줌 움직임을 가지도록 하였다.
데이터처리
- 전역 움직임 추정에서는 회전, 병진, 줌 움직임을 구분하여 각각의 움직임을 추정하는 대신 등가의 회전 모델을 제시하여, 회전 중심과 회전 각만으로 움직임을 추정할 수 있음을 수식을 통하여 증명하였다. 또한, 제시된 방법을 실험을 통하여 검증하였으며 기존의 연구들과 비교하여 우수성을 확인하였다. 따라서 본 연구의 성과는 조준경과 같은 군수 분야 및 디지털 카메라와 캠코더 같은 민수 분야의 영상 처리 연구에 활용될 수 있음을 기대한다.
이론/모형
- 영상의 보상은 FTF(Frame To Frame) 알고리즘[6]을 적용하였으며 식 (23)부터 (26)에서 보는 바와 같이 매 프레임을 계산하는 항이 하나씩만 늘어나는 것을 알 수 있다.
- 이러한 평면들이 하나의 점에서 만나게 되는 회전 중심을 최소자승법을 이용하여 구하였다. n개의 평면들의 방정식을 나타내면 식 (16), (17)과 같다.
성능/효과
- 그림 11은 안정화가 수행되지 않은 영상과 Xu [5]의 방법을 제시한 모델과 비교하여 PSNR (Peak Signal to Noise Ratio) [7]을 구한 것이다. 그 결과 PSNR이 기존의 연구보다 7% 이상, 안정화가 수행되지 않았을 때보다 123% 더 높은 성능을 확인할 수 있다.
- 기준 영상에 대하여 회전과 병진, 그리고 줌 움직임이 포함된 영상의 회전 중심과 회전 각도를 구한 결과를 표 1과 같이 비교하여 제시한 등가 모델의 전역 움직임 추정의 타당성을 검증하였다. 식 (6)에서 회전 각도를 롤의 각도로, 병진 움직임을 ∆x, ∆y, 스케일을 계산한 줌의 움직임을 ∆z 에 대입하고 식 (8)의 방정식을 계산한 결과, 3차원 좌표계에서 등가 모델의 계산값인 식 (7)의 회전 중심 α, β, γ, 회전각도 R, P, Y를 구하였다.
- 전역 움직임 추정에서는 회전, 병진 및 줌 흔들림을 하나의 등가 모델로 표현할 수 있음을 보이고 이등가 모델을 기반으로 회전 각도 및 중심을 추정하는 방법을 제시한다. 또한, 추정된 값을 기준으로 흔들림을 역으로 보상함으로써 안정화된 영상을 제공함을 실험을 통하여 확인하였다.
- 지역 움직임 추정에서는 줌 움직임이 포함된 경우를 고려하여 2차원의 영상을 3차원으로 확장하여 특징점 기반의 움직임 벡터를 구하였다. 전역 움직임 추정에서는 회전, 병진, 줌 움직임을 구분하여 각각의 움직임을 추정하는 대신 등가의 회전 모델을 제시하여, 회전 중심과 회전 각만으로 움직임을 추정할 수 있음을 수식을 통하여 증명하였다. 또한, 제시된 방법을 실험을 통하여 검증하였으며 기존의 연구들과 비교하여 우수성을 확인하였다.
후속연구
- 또한, 제시된 방법을 실험을 통하여 검증하였으며 기존의 연구들과 비교하여 우수성을 확인하였다. 따라서 본 연구의 성과는 조준경과 같은 군수 분야 및 디지털 카메라와 캠코더 같은 민수 분야의 영상 처리 연구에 활용될 수 있음을 기대한다.
- 추후 과제로는 영상 센서가 취약한 조도의 변화도 외란의 일부로 간주할 수 있기 때문에 이에 강인한 안정화 연구가 수행되어야 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.