초록 ▼

(1) 연구 개요
2차원 영상을 이용한 고밀도의 3차원 구조 복원에 대한 연구는 여러 분야에서 활발한 연구가 이루어져 온 주제이나,기존의 방법들은 매우 고가의 장비로 구성되며 적용 가능한 분야에 많은 제약 사항을 가지고 있었다. 이러한 문제를 해결하기 위한 방안 중 하나로 영상을 이용한 방법을 들 수 있는데, 기존의 접근 방식에 비해 저가로 보다 세밀한 3차원 정보 추정이 가능하고 보다 일반적인 환경에 적용이 가능하다는 장점을 가지고 있다. 그럼에도 불구하고 기존의 연구들이 복원의 대상으로 하는 장면은 정적인 장면으로, 이러한

(1) 연구 개요
2차원 영상을 이용한 고밀도의 3차원 구조 복원에 대한 연구는 여러 분야에서 활발한 연구가 이루어져 온 주제이나,기존의 방법들은 매우 고가의 장비로 구성되며 적용 가능한 분야에 많은 제약 사항을 가지고 있었다. 이러한 문제를 해결하기 위한 방안 중 하나로 영상을 이용한 방법을 들 수 있는데, 기존의 접근 방식에 비해 저가로 보다 세밀한 3차원 정보 추정이 가능하고 보다 일반적인 환경에 적용이 가능하다는 장점을 가지고 있다. 그럼에도 불구하고 기존의 연구들이 복원의 대상으로 하는 장면은 정적인 장면으로, 이러한 장면은 움직이는 물체들이 포함되어 있는 실제 환경과는 거리가 있어, 보다 일반적인 환경에 적용할 수 있는 3차원 구조 복원 방법에 대한 연구가 요구되고 있다. 이를 위해 본 연구 과제에서는 다중 시점 영상 시퀀스(Multi-view image sequence)를 이용하여 동적인 장면의 구조를 복원하는 것뿐만 아니라 장면에서 일어나는 움직임을 기술하는 장면 흐름(Scene flow) 추정 대한 연구를 진행하였다.
(2) 연구 내용
본 연구과제에서 장면 구조 및 장면 흐름 복원을 위해 사용하는 다중 시점 영상 시퀀스는 시점에 따른 영상의 모호성을 포함하고 있다. 예를 들어 광학 요소의 변화가 발생하여 동일한 위치임에도 물체의 색이 변화하여 정합이 되지않을 수 있으며, 폐색 현상(Occlusion)에 의해 관찰이 불가능한 시점이 있을 수 있다. 또한 영상 시퀀스를 대상으로하기 때문에 시간에 일관성을 가지는 방법이 아니라면 정합된 결과에 깜빡임 현상(Flickering)이 발생할 수 있다. 본연구 과제에서는 다중 시점 영상 시퀀스를 이용하여 장면 흐름 추정을 할 때 발생할 수 있는 이러한 문제들을 해결하기 위해 영상의 모호성과 광학 요소 변화에 강인하며 시간적 일관성을 가지는 유사 척도에 대한 연구를 진행하고, 이를 활용한 3차원 구조 복원 기법을 제안한다.
가. 영상 모호성과 광학 요소 변화에 강인한 유사 척도
스테레오 정합 시 모호한 점들에 의한 오류를 해결하기 위해 서포트 집적(Support aggregation) 방법을 많이 사용한다. 서포트 집적 시에는 고정된 형태의 윈도우보다 장면에 따라 동일한 깊이 값을 가지는 픽셀들만으로 이루어진 윈도우를 사용하는 것이 좋은데, 정합 단계에서는 각 픽셀의 깊이 값을 알 수 없으므로 정합 대상 픽셀과의 유사도에 따라 같은 깊이를 가질 확률을 가중치로 정의하여 사용하는 방식인 적응형 서포트 웨이트 윈도우 방식(Adaptive support-weight window)이 대안으로써 많이 사용되어 왔다. 그러나 깊이 연속 영역(Homogeneous area)의 크기보다 윈도우의 크기를 크게 설정해야하기 때문에, 메모리 공간과 계산 시간이 많이 필요하다는 단점을 가지고 있었다. 본 연구 과제에서는 이러한 문제점을 개선하고 정합 성능을 높이기 위해 비선형 확산(Non-linear Diffusion) 기법을 제안하였으며, 실험 결과 비 텍스쳐 영역과 깊이 불연속 지점을 비롯하여 대부분의 영상에서 기존 방법보다 높은 정확도를 보였다.
나. 시간적 일관성을 가지는 유사 척도
다중 시점 영상 시퀀스를 대상으로 3차원 정보를 추정할 때에는 각 프레임에서 생성된 깊이 맵들의 정확도뿐만 아니라 전체 깊이 맵들이 안정적으로 생성되는 것 역시 중요한 주제이다. 따라서 시간적 일관성을 가지는 깊이 맵 생성기법에 대한 연구가 필요하며, 본 연구 과제에서는 이를 위해 기존의 유사 척도를 시간축에 대하여 확장한 ASSM(Adaptive Spatiotemporal Similarity Measure)를 제안하였다. 실험 결과 기존의 방법들보다 높은 정확도와 시간적 일관성을 확인할 수 있었다.
다. 영상 시퀀스를 이용한 3차원 구조 복원
영상 시퀀스를 이용한 3차원 복원 기법은 컴퓨터 비전 분야에서 많은 연구가 되어온 분야로 여러 가지 기법들이 개발되었다. 그 중에서 카메라의 움직임을 이용하여 3차원 구조를 추정하는 SFM(Structure From Motion) 기법은 많은 연구가 진행된 기술로, 각 프레임에서 추출되는 특징점들을 이용하여 카메라의 자세 정보와 3차원 구조를 동시에 추정할 수 있는 기술이다. 그러나 일부 특수한 경우에는 3차원 구조를 복원하는 것 자체가 불가능하기도 하고, 알고리즘의 결과로 생성되는 포인트 클라우드(Point Cloud)는 장면의 구조를 표현하기에는 점들의 밀도가 너무 낮다는 문제를 가지고 있다. 본 연구 과제에서는 이러한 문제점을 해결하기 위해 키프레임 선택(Key-frame selection) 과정과 조밀한 3차원 모델 생성 과정을 포함하는 프레임워크를 제안하였다.

목차 Contents

• 일반연구자지원사업 최종(결과)보고서 ... 1
• 목차 ... 3
• Ⅰ. 연구결과 요약문 ... 4
• Ⅱ. 연구내용 및 결과 ... 5
• 1. 연구과제의 개요 ... 5
• 2. 국내·외 기술개발 현황 ... 5
• 3. 연구수행 내용 및 결과 ... 6
• 4. 목표 달성도 및 관련 분야에의 기여도 ... 11
• 5. 연구결과의 활용 계획 ... 11
• 6. 연구과정에서 수집한 해외과학기술정보 ... 12
• Ⅲ. 연구성과 ... 12