본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.
본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.
In this paper, we propose a foreground extraction and depth map generation method using a time-of-flight (TOF) depth camera. Although, the TOF depth camera captures the scene's depth information in real-time, it has a built-in noise and distortion. Therefore, we perform several preprocessing steps s...
In this paper, we propose a foreground extraction and depth map generation method using a time-of-flight (TOF) depth camera. Although, the TOF depth camera captures the scene's depth information in real-time, it has a built-in noise and distortion. Therefore, we perform several preprocessing steps such as image enhancement, segmentation, and 3D warping, and then use the TOF depth data to generate the depth-discontinuity regions. Then, we extract the foreground object and generate the depth map as of the color image. The experimental results show that the proposed method efficiently generates the depth map even for the object boundary and textureless regions.
In this paper, we propose a foreground extraction and depth map generation method using a time-of-flight (TOF) depth camera. Although, the TOF depth camera captures the scene's depth information in real-time, it has a built-in noise and distortion. Therefore, we perform several preprocessing steps such as image enhancement, segmentation, and 3D warping, and then use the TOF depth data to generate the depth-discontinuity regions. Then, we extract the foreground object and generate the depth map as of the color image. The experimental results show that the proposed method efficiently generates the depth map even for the object boundary and textureless regions.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 깊이 카메라를 이용하여 함께 촬영되는 색상 영상에서 전경 객체를 자동으로 분리하고, 알맞은 깊이 값을 찾아 깊이 맵을 생성하는 방법을 제안한다. 제안하는 방법은 스테레오 정합을 사용하지 않고, 깊이 카메라에서 촬영된 영상과 단일 시점의 색상 영상을 이용하여 전경 객체를 분리하고, 배경과 분리한 전경에 대해 각각 깊이 카메라 정보를 이용하여 깊이 값을 채운다.
본 논문에서는 색상 카메라와 TOF 깊이 카메라를 이용하여 장면의 깊이 맵을 생성하는 방법을 소개하였다. 촬영된 영상에서의 잡음과 왜곡을 보정한 후, 깊이 영상은 색상 영상의 위치로 3차원 투영을 통해 이동되어 깊이 불연속 영역을 결정하고, 이를 통해 전경과 배경을 분리한 후, 깊이 카메라 정보를 이용하여 최종 깊이 맵을 생성하게 된다.
제안 방법
TOF 깊이 카메라는 카메라의 센서로부터 발생된 광신호가 다시 카메라로 돌아오는 위상의 차이를 이용하여 장면의 거리정보를 획득한다. 본 논문의 실험에서 사용한 깊이 카메라 모델은 Mesa Imaging에서 개발한 SR4000이라는 모델로 그림 1과 같이 광신호 발생부분과 그 신호를 받아들이는 광필터로 이루어져 있다.
장면을 촬영한 후 깊이 영상에 존재하는 왜곡을 보정하고, 각 카메라의 카메라 변수를 구한다. 그 후 깊이 카메라 영상 정보를 이용하여 깊이 불연속 맵을 생성하고, 이 정보를 이용하여 객체를 분리한 후, 깊이 카메라 영상의 각 화소 정보를 이용하여 최종 깊이 맵을 제작한다.
그림 10에 나타난 깊이 맵을 이용하여 우측 시점에 가상 시점 영상을 생성한 결과가 그림 11에 나타나 있다. 우측 시점 영상과의 비교를 위해 65mm 떨어진 곳에 있는 동일한 모델의 색상 카메라를 이용하여 그림 8에 나타난 세 종류의 영상에 대한 우측 시점의 영상을 촬영하였다. 그리고 좌영상과 함께 영상 정렬을 수행하여, 가상 시점의 화질 평가를 위한 원본 영상으로 사용하였다[11].
그림 2는 제안하는 방법의 흐름도를 보여준다. 장면을 촬영한 후 깊이 영상에 존재하는 왜곡을 보정하고, 각 카메라의 카메라 변수를 구한다. 그 후 깊이 카메라 영상 정보를 이용하여 깊이 불연속 맵을 생성하고, 이 정보를 이용하여 객체를 분리한 후, 깊이 카메라 영상의 각 화소 정보를 이용하여 최종 깊이 맵을 제작한다.
제안하는 방법에서는 깊이 카메라 정보를 이용하여 색상 영상에서 배경과 객체를 미리 분리하고, 배경과 전경에 대하여 각각 깊이 정보를 구하고, 하나의 깊이 맵을 생성한다.
촬영된 영상에서의 잡음과 왜곡을 보정한 후, 깊이 영상은 색상 영상의 위치로 3차원 투영을 통해 이동되어 깊이 불연속 영역을 결정하고, 이를 통해 전경과 배경을 분리한 후, 깊이 카메라 정보를 이용하여 최종 깊이 맵을 생성하게 된다. 제안하는 방법은 복잡도가 높은 스테레오 정합에 비해 간결하고, 계산된 값이 아닌 직접 측정된 깊이 값을 기반으로 하여 무늬가 없는 영역과 같은 곳에서도 정확한 깊이 값을 빠른 시간에 생성하였다. 또한 전경과 배경이 분리되어 처리되므로 객체 경계부의 깊이 값이 깨끗하게 생성되었음을 볼 수 있다.
본 논문에서는 깊이 카메라를 이용하여 함께 촬영되는 색상 영상에서 전경 객체를 자동으로 분리하고, 알맞은 깊이 값을 찾아 깊이 맵을 생성하는 방법을 제안한다. 제안하는 방법은 스테레오 정합을 사용하지 않고, 깊이 카메라에서 촬영된 영상과 단일 시점의 색상 영상을 이용하여 전경 객체를 분리하고, 배경과 분리한 전경에 대해 각각 깊이 카메라 정보를 이용하여 깊이 값을 채운다.
제안하는 방법의 실험을 위해서 한 대의 색상 카메라와 한 대의 깊이 카메라를 사용한다. 깊이 카메라는 색상 카메라의 아래쪽에 배치하였다.
대상 데이터
우측 시점 영상과의 비교를 위해 65mm 떨어진 곳에 있는 동일한 모델의 색상 카메라를 이용하여 그림 8에 나타난 세 종류의 영상에 대한 우측 시점의 영상을 촬영하였다. 그리고 좌영상과 함께 영상 정렬을 수행하여, 가상 시점의 화질 평가를 위한 원본 영상으로 사용하였다[11]. 생성된 가상 시점 영상에서 발생한 홀 영역은 인페인팅(inpainting) 기법을 이용하여 채웠다[12].
본 논문의 실험에서 사용한 깊이 카메라 모델은 Mesa Imaging에서 개발한 SR4000이라는 모델로 그림 1과 같이 광신호 발생부분과 그 신호를 받아들이는 광필터로 이루어져 있다.
제안한 방법의 실험을 위하여 그림 8과 같이 세 종류의 영상을 촬영하여 실험에 사용하였다. 색상 영상 및 깊이 카메라 영상의 해상도는 각각 1280x960과 176x144 이다. 실험에는 식 (1)의 k=3을 사용하였고, 해당 블록에 값이 없을 경우 k를 증가시켰다.
제안한 방법의 실험을 위하여 그림 8과 같이 세 종류의 영상을 촬영하여 실험에 사용하였다. 색상 영상 및 깊이 카메라 영상의 해상도는 각각 1280x960과 176x144 이다.
이론/모형
그리고 좌영상과 함께 영상 정렬을 수행하여, 가상 시점의 화질 평가를 위한 원본 영상으로 사용하였다[11]. 생성된 가상 시점 영상에서 발생한 홀 영역은 인페인팅(inpainting) 기법을 이용하여 채웠다[12]. 표 1에 나타난 결과에서 볼 수 있듯이, 제안하는 방법은 다른 방법들에 비해 대체적으로 우수한 성능을 보이며 평균 수행시간도 매우 빠른 것을 볼 수 있다.
성능/효과
생성된 가상 시점 영상에서 발생한 홀 영역은 인페인팅(inpainting) 기법을 이용하여 채웠다[12]. 표 1에 나타난 결과에서 볼 수 있듯이, 제안하는 방법은 다른 방법들에 비해 대체적으로 우수한 성능을 보이며 평균 수행시간도 매우 빠른 것을 볼 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
깊이 카메라의 장점은?
본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다.
색상 영상과의 상관도가 떨어지며 잡음이 발생하는 깊이 카메라의 단점을 보완하기위한 방법과 그 결과는?
깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.
깊이 카메라의 단점은?
본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다.
참고문헌 (12)
C. Fehn, R. Barre, and S. Pastoor, "Interactive 3-DTV- Concepts and Key Technologies," Proc. of the IEEE, vol. 94, no. 3, pp. 524-538, Mar. 2006.
J. Sun, N.N. Zheng, and H.Y. Shum, "Stereo Matching Using Belief Propagation," IEEE Trans. of Pattern Analysis and Machine Intelligence (PAMI), vol. 25, no. 5, pp. 787-800, Jul. 2003.
S. A. Gudmundsson, H. Aanaes, and R. Larsen, "Fusion of Stereo Vision and Time-of-Filght Imaging for Improved 3D Estimation," International Journal of Intelligent Sys. Technologies and Applications, vol. 5, no. 3, pp. 425-433, Nov. 2008.
B. Bartczak and R. Koch, "Dense Depth Maps from Low Resolution Time-of-Flight Depth and High Resolution Color Views," Proc. of 5th International Symposium on Visual Computing, pp. 1-12, Nov. 2009.
J. Zhu, L. Wang, R. Yang, and J. Davis, "Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps," Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pp. 231-236, June 2008.
K. D. Kuhnert and M. Stommel, "Fusion of Stereo-Camera and PMD-Camera Data for Real-time Suited Precise 3D Environment Reconstruction," Proc. of the IEEE/RSJ International Conf. on Intelligent Robots and Syst. (IROS), pp. 4780-4785, Mar. 2006.
A. Wang, T. Qiu, and L. Shao, "A Simple Method of Radial Distortion Correction with Centre of Distortion Estimation," Journal of Mathematical Imaging and Vision, vol. 35, no. 3, pp. 165-172, Nov. 2009.
Z. Zhang, "A Flexible New Technique for Camera Calibration," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, Oct. 2000.
C. Rother, V. Kolmogorov, and A. Blake, "GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts," ACM Trans. on Graphics, vol. 23, no. 1, pp. 309-314, Jan. 2004.
P.F. Felzenszwalb and D.P. Huttenlocher, "Efficient Belief Propagation for Early Vision," International Journal of Computer Vision, vol. 70, no. 1, pp. 41-54, Oct. 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.