계위 공간을 이용한 고품질 3차원 비디오 생성 방법 -다단계 계위공간 개념을 이용해 깊이맵의 경계영역을 정제하는 고화질 복합형 카메라 시스템과 고품질 3차원 스캐너를 결합하여 고품질 깊이맵을 생성하는 방법- High-qualtiy 3-D Video Generation using Scale Space원문보기
본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.
본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.
In this paper, we present a new camera system combining a high-quality 3-D scanner and hybrid camera system to generate a multiview video-plus-depth. In order to get the 3-D video using the hybrid camera system and 3-D scanner, we first obtain depth information for background region from the 3-D sca...
In this paper, we present a new camera system combining a high-quality 3-D scanner and hybrid camera system to generate a multiview video-plus-depth. In order to get the 3-D video using the hybrid camera system and 3-D scanner, we first obtain depth information for background region from the 3-D scanner. Then, we get the depth map for foreground area from the hybrid camera system. Initial depths of each view image are estimated by performing 3-D warping with the depth information. Thereafter, multiview depth estimation using the initial depths is carried out to get each view initial disparity map. We correct the initial disparity map using a belief propagation algorithm so that we can generate the high-quality multiview disparity map. Finally, we refine depths of the foreground boundary using extracted edge information. Experimental results show that the proposed depth maps generation method produces a 3-D video with more accurate multiview depths and supports more natural 3-D views than the previous works.
In this paper, we present a new camera system combining a high-quality 3-D scanner and hybrid camera system to generate a multiview video-plus-depth. In order to get the 3-D video using the hybrid camera system and 3-D scanner, we first obtain depth information for background region from the 3-D scanner. Then, we get the depth map for foreground area from the hybrid camera system. Initial depths of each view image are estimated by performing 3-D warping with the depth information. Thereafter, multiview depth estimation using the initial depths is carried out to get each view initial disparity map. We correct the initial disparity map using a belief propagation algorithm so that we can generate the high-quality multiview disparity map. Finally, we refine depths of the foreground boundary using extracted edge information. Experimental results show that the proposed depth maps generation method produces a 3-D video with more accurate multiview depths and supports more natural 3-D views than the previous works.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 고품질의 깊이맵 생성을 위해 두 방법의 단점을 보완하면서 서로의 장점을 결합하기 위해 3차원 스캐너를 이용하여 배경영역의 깊이맵을 먼저 획득하고, 움직임이 많은 전경영역의 깊이맵을 깊이카메라를 이용해 획득하여 두 깊이정보를 결합하는 방법을 제안한다.
미래의 3차원 응용분야에서는 고품질의 3차원 비디오를 요구하기 때문에, 우리는 고화질의 다시점 3차원 비디오를 생성할 필요가 있다. 본 논문에서는 고화질 (high definition, HD) 복합형 카메라 시스템과 고품질 (high-qualtiy) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안하여, 고해상도의 다시점 영상과 그에 상응하는 깊이맵을 포함하는 3차원 비디오를 생성하는 새로운 방법을 제안한다. 제안하는 방법은 고화질 3차원 스캐너와 깊이 카메라에서 획득한 깊이정보를 이용하여 다시점 카메라를 위한 고품질 3차원 비디오를 생성한다.
본 논문은 기존의 깊이맵 생성 방법이 폐색영역과 비슷한 색상정보를 가지는 영역에 대해 잘못된 깊이정보를 생성하는 문제점을 해결하였고, 고해상도 3차원 스캐너와 저해상도 깊이 카메라를 이용해 고해상도 다시점 깊이맵을 생성하는 방법을 제시하였다.
본 논문은 복합형 카메라 시스템과 고품질 3차원 스캐너를 이용해 고화질 깊이맵을 생성하는 방법을 제안했다. 깊이 맵의 정확도를 평가를 위해 기존의 깊이맵 생성 방법으로 깊이맵을 생성하여 그림 4와 같이 결과를 비교하였으며, 생성한 깊이맵을 이용해 3차원 장면을 생성하고 중간시점 영상을 그림 5와 그림 6과 같이 생성하였다.
가설 설정
제안하는 방법은 고화질 3차원 스캐너와 깊이 카메라에서 획득한 깊이정보를 이용하여 다시점 카메라를 위한 고품질 3차원 비디오를 생성한다. 또한 제안한 방법은 깊이 카메라가 아닌 고화질 다시점 카메라에 의존하기 때문에, 생성된 3차원 비디오의 해상도는 고해상도이다.
제안 방법
본 논문은 복합형 카메라 시스템과 고품질 3차원 스캐너를 이용해 고화질 깊이맵을 생성하는 방법을 제안했다. 깊이 맵의 정확도를 평가를 위해 기존의 깊이맵 생성 방법으로 깊이맵을 생성하여 그림 4와 같이 결과를 비교하였으며, 생성한 깊이맵을 이용해 3차원 장면을 생성하고 중간시점 영상을 그림 5와 그림 6과 같이 생성하였다.
이러한 문제점을 해결하기 위해 본 논문은 belief propagation 방법[6]을 이용해 깊이맵을 정제한다. 깊이 카메라를 통해 획득한 깊이정보를 이용해 검색영역을 결정하고 belief propagation 방법을 이용해 깊이맵을 정제한다.
본 논문은 복합형 카메라 시스템과 고품질 3차원 스캐너를 이용해 고화질 깊이맵을 생성하는 방법을 제안했다. 깊이맵의 정확도를 평가를 위해 기존의 깊이맵 생성 방법으로 깊이맵을 생성하여 그 결과를 비교하였으며, 생성한 깊이맵을 이용해 3차원 장면을 생성하고 중간시점 영상을 생성하였다. 본 논문은 기존의 깊이맵 생성 방법이 폐색영역과 비슷한 색상정보를 가지는 영역에 대해 잘못된 깊이정보를 생성하는 문제점을 해결하였고, 고해상도 3차원 스캐너와 저해상도 깊이 카메라를 이용해 고해상도 다시점 깊이맵을 생성하는 방법을 제시하였다.
본 논문은 스테레오 정합을 수행하는 동안 세그먼트 단위로 3차원 워핑을 하고, 생성한 초기 깊이정보를 고려하여 다시점 영상의 정확한 깊이맵을 생성한다. 본 논문에서는 mean-shift 기반의 색상 분할 방법을 이용하여 다시점 영상을 색상 분할한다. 제안한 방법은 3차원 워핑된 세그먼트를 기반으로 한 스테레오 정합을 수행하여 깊이맵을 생성한다.
스테레오 정합과 같은 영역 기반 정합 방법으로 깊이 정보를 획득할 경우, 폐색영역과 같은 불연속적인 영역에서 부정확한 깊이 정보를 예측한다. 본 논문은 계위공간(scale space)를 이용해 다시점 영상의 경계 정보를 생성하고, 이경계 정보를 정합하여 3차원 경계 조각을 추출한다. 그런 다음, 경계 조각을 특징 기반 정합 방법을 적용하여 깊이맵 경계 영역의 깊이 정보를 다시 한번 정제한다.
본 논문은 스테레오 정합을 수행하는 동안 세그먼트 단위로 3차원 워핑을 하고, 생성한 초기 깊이정보를 고려하여 다시점 영상의 정확한 깊이맵을 생성한다. 본 논문에서는 mean-shift 기반의 색상 분할 방법을 이용하여 다시점 영상을 색상 분할한다.
본 논문은 제안한 복합형 카메라 시스템과 고품질 3차원 스캐너를 이용해 다시점 카메라의 고화질 깊이맵을 생성한다. 그림 1은 복합형 카메라 시스템의 구성을 보여준다 [1].
제안하는 3차원 비디오 생성 방법은 먼저 움직임에 없는 배경영역에 대한 깊이정보를 3차원 스캐너를 이용해 획득한다. 일반적으로 3차원 스캐너는 고품질의 깊이정보를 획득할 수 있지만, 움직이는 물체에 대한 깊이정보를 획득할 수 없는 단점이 있다.
본 논문에서는 고화질 (high definition, HD) 복합형 카메라 시스템과 고품질 (high-qualtiy) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안하여, 고해상도의 다시점 영상과 그에 상응하는 깊이맵을 포함하는 3차원 비디오를 생성하는 새로운 방법을 제안한다. 제안하는 방법은 고화질 3차원 스캐너와 깊이 카메라에서 획득한 깊이정보를 이용하여 다시점 카메라를 위한 고품질 3차원 비디오를 생성한다. 또한 제안한 방법은 깊이 카메라가 아닌 고화질 다시점 카메라에 의존하기 때문에, 생성된 3차원 비디오의 해상도는 고해상도이다.
본 논문에서는 mean-shift 기반의 색상 분할 방법을 이용하여 다시점 영상을 색상 분할한다. 제안한 방법은 3차원 워핑된 세그먼트를 기반으로 한 스테레오 정합을 수행하여 깊이맵을 생성한다. 그림 2는 색상 분할된 세그먼트를 3차원 워핑을 통해 시점 변화에 따른 형태를 예측하고, 예측된 세그먼트를 이용해 주변영역을 탐색하는 방법을 그림으로 보여준다.
이론/모형
그러나 실제 환경은 연속적인 깊이정보로 이루어져 있다. 이러한 문제점을 해결하기 위해 본 논문은 belief propagation 방법[6]을 이용해 깊이맵을 정제한다. 깊이 카메라를 통해 획득한 깊이정보를 이용해 검색영역을 결정하고 belief propagation 방법을 이용해 깊이맵을 정제한다.
질의응답
핵심어
질문
논문에서 추출한 답변
복합형 카메라 시스템은 무엇으로 구성되는가?
그림 1은 복합형 카메라 시스템의 구성을 보여준다 [1]. 복합형 카메라 시스템은 기본적으로 고화질 다시점 카메라와 표준화질 깊이 카메라로 구성된다. 또한, 모든 카메라에 동기화 신호를 연속적으로 보내기 위해 동기화 신호 재생기가 각 카메라에 연결된다.
깊이맵을 생성하는 방법은 어떻게 나뉘는가?
깊이맵을 생성하는 방법은 크게 능동적 깊이센서 방식 (active depth sensors)과 수동적 깊이센서 방식 (passive depth sensors)으로 나눈다. 능동적 깊이센서 방식은 레이저 센서, 적외선 센서, 패턴 센서를 이용하여 3차원 공간의 깊이 정보를 직접 획득하는 방법이다.
깊이맵을 생성하는 방법 중 능동적 깊이센서 방식은 무엇인가?
깊이맵을 생성하는 방법은 크게 능동적 깊이센서 방식 (active depth sensors)과 수동적 깊이센서 방식 (passive depth sensors)으로 나눈다. 능동적 깊이센서 방식은 레이저 센서, 적외선 센서, 패턴 센서를 이용하여 3차원 공간의 깊이 정보를 직접 획득하는 방법이다. 능동적 깊이센서 방식은 정확한 깊이 정보를 획득할 수 있는 반면, 저해상도의 깊이맵을 제공하고 큰 비용이 든다는 단점이 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.