초록 ▼

본 과제에서는 스테레오 카메라나 depth 카메라로 획득된 영상으로부터 다시점 3D 콘텐츠를 제작하는 기법을 연구 개발한다. 다시점 3D 콘텐츠를 제작하기 위해서는 컬러 영상에 해당하는 깊이 지도의 획득이 필수적이다. 일반적으로 깊이 지도를 획득하는 방식은 크게 스테레오 카메라를 이용한 방식과 depth 카메라를 이용한 방식으로 분류할 수 있다. 스테레오 카메라를 이용하면 비용이 절감되지만 획득한 깊이 지도의 품질이 떨어진다. depth 카메라를 이용하면 비교적 고품질의 깊이 지도를 획득할 수 있지만 비용이 많이 들고 깊이 지도의

본 과제에서는 스테레오 카메라나 depth 카메라로 획득된 영상으로부터 다시점 3D 콘텐츠를 제작하는 기법을 연구 개발한다. 다시점 3D 콘텐츠를 제작하기 위해서는 컬러 영상에 해당하는 깊이 지도의 획득이 필수적이다. 일반적으로 깊이 지도를 획득하는 방식은 크게 스테레오 카메라를 이용한 방식과 depth 카메라를 이용한 방식으로 분류할 수 있다. 스테레오 카메라를 이용하면 비용이 절감되지만 획득한 깊이 지도의 품질이 떨어진다. depth 카메라를 이용하면 비교적 고품질의 깊이 지도를 획득할 수 있지만 비용이 많이 들고 깊이 지도의 해상도가 떨어진다. 고품질의 다시점 3D 콘텐츠를 획득하기 위해서는 고해상도, 고품질의 깊이 지도가 필요하기 때문에, 본 과제에서는 총 연구기간에 걸쳐 정확한 깊이 지도의 획득 및 고해상도화를 연구하고 최종적으로 획득한 깊이 영상을 이용하여 다시점 영상을 합성하는 연구를 진행하였다. 연차별 연구 진행 상황은 아래의 표와 같다.
1차년도
스테레오 영상과 depth 카메라를 이용한 정확한 깊이 지도 획득
2차년도
초고해상도 기법을 이용한 깊이 지도의 고해상도화와 정확성 향상에 관한 연구
3차년도
깊이정보를 이용한 다시점 영상 합성에 관한 연구
1차년도에는 2차원 영상의 효율적인 3차원 영상 생성 기법과 스테레오 영상을 이용하여 다시점 영상 생성 시 발생하는 가려짐 영역(occlusion region)을 보다 효율적으로 제거하는 기법을 개발하여 고품질의 다시점 3D 콘텐츠 영상 제작이 가능하게 만드는 연구와, 깊이 카메라에서 획득된 저해상도의 깊이 지도를 고해상도 3차원 영상 콘텐츠 제작에 활용할 수 있게 고해상도화 하는 연구를 진행하였다.
2차년도에는 경계 흔들림 보정을 이용한 깊이 카메라 영상의 품질 향상 기법 및 움직임 추정을 통한 깊이 지도의 시간적 일관성 보상 기법의 연구를 통해 깊이 정보의 고품질화 연구와 움직임 벡터의 정규화 및 에지의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 기법 및 적응적 가중치 보간법과 이산웨이블릿 변환을 이용한 효율적인 초해상도 기법의 연구를 통해 저해상도의 깊이지도를 다양한 방법으로 고해상도화하는 기술을 개발하였다.
3차년도에는 컷(cut) 검출 기법을 통해 각 장면의 경계 부근에서 적응적으로 단일영상 기반의 초고해상도 기법을 사용하고 움직임 벡터의 정규화 및 블록 단위의 윤곽선 패턴 분석을 통해 여러 제한조건에 강한 복수 영상 기반의 초고해상도 기법을 통해 다시점 콘텐츠의 품질을 향상시키는 연구를 진행하였다. 또한 마이크로소프트(Microsoft)에서 출시한 키넥트(Kinect) 카메라로 획득한 깊이 영상의 잡음을 제거하고 후처리한 깊이 영상을 이용하여 8시점의 가상시점을 획득한 후에 생성되는 홀(hole)들에 대하여 홀 주변블록들의 기울기와 신뢰도를 이용하여 채우는 기법을 개발하여 실시간으로 다시점 콘텐츠를 생성하는 기술을 개발하였다.
본 과제에서 개발된 연구결과는 향후 3-5년 내에 상용화될 것으로 예상되는 무안경식 다시점 디스플레이 출시와 함께 수요 급증이 예상되는 다시점 3D 콘텐츠의 제작에 큰 기여를 할 것으로 예상된다. 또한 저해상도 깊이지도의 해상도 증대 기법은 깊이정보를 활용하는 실생활의 다양한 분야에서 폭 넓게 적용될 수 있다. 또한 3D 산업의 활성화에 따라서 다시점 3DTV 서비스용 콘텐츠 제작 기술을 확보하고 관련인력 양성에도 기여할 것으로 기대된다.