[논문]CGH를 위한 가상시점 깊이영상 합성 시스템

김택범; 고민수; 유지상

doi:10.6109/jkiice.2012.16.7.1477

CGH를 위한 가상시점 깊이영상 합성 시스템
Virtual View-point Depth Image Synthesis System for CGH 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.16 no.7, 2012년, pp.1477 - 1486

김택범 (광운대학교 전자공학과) , 고민수 (광운대학교 전자공학과) , 유지상 (광운대학교 전자공학과)

초록
AI-Helper

본 논문에서는 가상시점 깊이영상 생성 기법을 이용한 다양한 시점의 CGH(computer generated hologram) 생성 시스템을 제안한다. 제안한 시스템에서는 먼저 TOF(time of flight) 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 획득하고 카메라 보정 과정을 통해 기준시점 카메라들의 카메라 파라미터를 추출한다. 가상시점 카메라의 위치가 정의되면 기준시점 카메라와의 거리와 위치를 고려하여 최적의 기준시점 카메라들을 선택한다. 가상시점 카메라와 가장 가까운 기준시점 카메라를 주 기준시점으로 결정하고 가상시점 깊이영상을 생성한다. 주 기준시점 카메라와 위치가 반대인 기준시점 카메라를 보조 기준시점으로 선택하여 가상시점 깊이영상을 생성한다. 주 기준시점을 통해 생성된 가상시점 깊이영상에 나타나는 가려짐 영역을 보조 기준시점으로 생성된 가상시점 깊이영상으로부터 찾아 보상한다. 보상이 되지 않고 남은 홀영역은 주변값 중 가장 작은 값으로 채워 최종 가상시점 깊이영상을 생성한다. 최종 가상시점 깊이 영상을 이용하여 CGH를 생성한다. 실험을 통해 기존의 기법보다 제안하는 가상시점 깊이영상 합성 시스템의 성능이 우수함을 확인하였다.

Abstract ▼ AI-Helper

In this paper, we propose Multi-view CGH Making System using method of generation of virtual view-point depth image. We acquire reliable depth image using TOF depth camera. We extract parameters of reference-view cameras. Once the position of camera of virtual view-point is defined, select optimal reference-view cameras considering position of it and distance between it and virtual view-point camera. Setting a reference-view camera whose position is reverse of primary reference-view camera as sub reference-view, we generate depth image of virtual view-point. And we compensate occlusion boundaries of virtual view-point depth image using depth image of sub reference-view. In this step, remaining hole boundaries are compensated with minimum values of neighborhood. And then, we generate final depth image of virtual view-point. Finally, using result of depth image from these steps, we generate CGH. The experimental results show that the proposed algorithm performs much better than conventional algorithms.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 가상시점 깊이영상 생성 기법을 통해 다양한 시점의 CGH를 생성할 수 있는 시스템을 제안하였다. TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 얻고 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다.
CGH 홀로그램을 얻기 위해서 보통 RGB 영상 또는 깊이영상(depth image)을 활용한다. 본 논문에서는 기준시점(reference view)의 깊이영상을 이용하여 여러 시점의 가상시점 깊이영상을 합성하여 다양한 시점의 CGH를 생성하는 기법을 제안한다. 가상시점(virtual viewpoint) 영상합성 방법에는 크게 주어진 스테레오 영상의 변이정보를 이용하는 양방향 선형 보간법(bidirectional linear interpolation)과 깊이 정보를 이용하는 3D 워핑(3D warping) 기법 등이 있다.
먼저 기준시점 깊이영상 화소들의 실세계 좌표(world coordinate)로 산출하고 원하는 가상 시점으로 재투영 하게 된다. 이때 가상시점 깊이영상 생성 시 객체의 이동으로 생기는 가려짐 영역(occlusion)에 의해 홀(hole)이 발생하는데, 본 논문에서는 이러한 요소를 제거하여 가상시점 깊이영상의 화질을 개선하기 위한 기법도 제안하고 있다. 제안하는 시스템에는 먼저 TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 얻는다.

제안 방법

제안하는 시스템에는 먼저 TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 얻는다. 3D 워핑 기법을 사용하기 위해 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다. 가상시점 카메라의 위치가 결정되면 기준시점 카메라와의 위치와 거리를 고려하여 최상의 가상시점 깊이영상을 생성할 수 있는 기준시점 카메라를 선택한다.
본 논문에서는 가상시점 깊이영상 생성 기법을 통해 다양한 시점의 CGH를 생성할 수 있는 시스템을 제안하였다. TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 얻고 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다. 가상시점 카메라와 기준시점 카메라와의 위치와 거리를 고려하여 최상의 가상시점 깊이영상을 생성할 수 있는 주 기준시점 카메라와 보조 기준시점 카메라를 선택한다.
그림 2는 제안하는 기법의 블록도이다. TOF(time of flight) 깊이 카메라로부터 깊이영상과 밝기영상을 획득하고 카메라 보정판을 찍은 밝기영상을 이용하여 카메라 보정 기법을 수행하여 각 카메라의 카메라 파라미터를 추출한다. 가상시점 카메라의 위치를 고려하여 주 기준시점으로 사용될 깊이 카메라와 보조 기준시점으로 사용될 깊이 카메라를 결정한다.
제안하는 시스템에서는 사각 체크보드 형식의 카메라 보정판을 사용하는 카메라 보정 기법을 이용한다[8]. 각 카메라가 동시에 같은 보정판을 촬영하고 보정판의 같은 특징점간의 관계를 이용하여 카메라간의 상대적인 위치를 나타내는 카메라 외부 파라미터를 추출하고 한 영상 안에서의 특징점간의 위치 관계를 계산하여 해당 카메라의 내부 파라미터도 추출한다. 카메라 위치가 변경 되지 않을 경우 한 번의 카메라 보정을 통해 추출된 카메라 파라미터를 계속 사용한다.
본 논문에서는 제안하는 가상시점 깊이영상 생성 기법의 성능을 측정하기 위해 MPEG에서 제공하는 다시점 영상 시퀀스인 Cafe, Balloons, Mobile, Lovebird1, Poznan_street 시퀀스를 실험 영상으로 사용한다. 객관적인 화질 평가를 위해서 n번과 (n+2) 카메라의 영상을 사용하여 (n+1)번 카메라 영상을 생성하고 주어진 원본 (n+1)번째 영상과 PSNR을 측정하여 표 1에 나타내었다.
생성된 가상시점 깊이지도를 이용하여 컴퓨터 생성 홀로그램인 CGH를 생성한다. 식 (8)을 통해 홀로그램을 생성하기 위해 깊이영상의 깊이값들을 식 (9)와 같이 zj 로 변환하게 된다.
Swissranger사의 SR4000 카메라 세대를 이용하여 실험 환경을 구성하였다. 세대의 카메라간의 카메라 보정을 수행하여 카메라 파라미터를 추출한다. 좌, 우 카메라를 기준시점 카메라로 사용하고 중앙의 카메라 영상을 생성하고 원본 영상과 PSNR을 측정하고 표 2에 그 결과를 보였다.
실제 세대의 TOF 깊이 카메라를 사용하여 제안하는 기법의 성능을 측정하였다. Swissranger사의 SR4000 카메라 세대를 이용하여 실험 환경을 구성하였다.
이때 가상시점 깊이영상 생성 시 객체의 이동으로 생기는 가려짐 영역(occlusion)에 의해 홀(hole)이 발생하는데, 본 논문에서는 이러한 요소를 제거하여 가상시점 깊이영상의 화질을 개선하기 위한 기법도 제안하고 있다. 제안하는 시스템에는 먼저 TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 얻는다. 3D 워핑 기법을 사용하기 위해 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다.
세대의 카메라간의 카메라 보정을 수행하여 카메라 파라미터를 추출한다. 좌, 우 카메라를 기준시점 카메라로 사용하고 중앙의 카메라 영상을 생성하고 원본 영상과 PSNR을 측정하고 표 2에 그 결과를 보였다. 재안하는 기법은 평균 29.
일반적인 밝기영상 또는 색상영상에서는 홀의 주변 화소값들을 고려하여 홀을 채우게 된다. 하지만 제안하는 기법에서는 깊이영상의 특성을 고려하여 홀의 주변 깊이값들 중 최소값을 판단하여 이 값으로 홀을 채운다. 홀 영역은 배경 영역이거나 또는 가장 멀리 있는 객체의 영역일 가능성이 가장 높기 때문이다.

대상 데이터

실제 세대의 TOF 깊이 카메라를 사용하여 제안하는 기법의 성능을 측정하였다. Swissranger사의 SR4000 카메라 세대를 이용하여 실험 환경을 구성하였다. 세대의 카메라간의 카메라 보정을 수행하여 카메라 파라미터를 추출한다.
TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 얻고 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다. 가상시점 카메라와 기준시점 카메라와의 위치와 거리를 고려하여 최상의 가상시점 깊이영상을 생성할 수 있는 주 기준시점 카메라와 보조 기준시점 카메라를 선택한다. 주 기준시점 카메라를 이용하여 가상시점 깊이영상을 생성하고 이 때 발생하는 가려짐 영역은 보조 기준시점으로 생성된 가상시점 깊이영상에서 찾아 보상한다.
본 논문에서는 제안하는 가상시점 깊이영상 생성 기법의 성능을 측정하기 위해 MPEG에서 제공하는 다시점 영상 시퀀스인 Cafe, Balloons, Mobile, Lovebird1, Poznan_street 시퀀스를 실험 영상으로 사용한다. 객관적인 화질 평가를 위해서 n번과 (n+2) 카메라의 영상을 사용하여 (n+1)번 카메라 영상을 생성하고 주어진 원본 (n+1)번째 영상과 PSNR을 측정하여 표 1에 나타내었다.

이론/모형

본 논문에서는 고화질의 가상시점 깊이영상을 생성하기 위해 3D 워핑 기법을 사용한다. 먼저 기준시점 깊이영상 화소들의 실세계 좌표(world coordinate)로 산출하고 원하는 가상 시점으로 재투영 하게 된다.
카메라 파라미터는 카메라 보정 작업을 통해 추출할 수 있다. 제안하는 시스템에서는 사각 체크보드 형식의 카메라 보정판을 사용하는 카메라 보정 기법을 이용한다[8]. 각 카메라가 동시에 같은 보정판을 촬영하고 보정판의 같은 특징점간의 관계를 이용하여 카메라간의 상대적인 위치를 나타내는 카메라 외부 파라미터를 추출하고 한 영상 안에서의 특징점간의 위치 관계를 계산하여 해당 카메라의 내부 파라미터도 추출한다.

성능/효과

깊이영상이 정확한 시퀀스일수록 높은 PSNR을 가진 다는 것을 알 수 있다. 기존의 양방향선형보간법과의 비교를 통해 제안하는 기법이 더 좋은 성능을 보였다. 그림 7과 그림 8은 원본 깊이영상과 생성된 가상시점 깊이영상을 나타낸다.
좌, 우 카메라를 기준시점 카메라로 사용하고 중앙의 카메라 영상을 생성하고 원본 영상과 PSNR을 측정하고 표 2에 그 결과를 보였다. 재안하는 기법은 평균 29.05dB의 성능을 보였다. 그림 9는 제안하는 기법을 통해 생성된 가상시점 영상들을 나타낸다.
표 1에서 알 수 있듯이 제안하는 기법은 최소 26.81dB 에서 최대 40.10dB의 좋은 성능을 보였다. 깊이영상이 정확한 시퀀스일수록 높은 PSNR을 가진 다는 것을 알 수 있다.

후속연구

기존에 RGB 텍스쳐 영상에 중간시점 영상 생성 기법을 적용한 사례는 많이 있지만, CGH를 생성하기 위해 TOF 카메라에서 획득된 깊이 영상의 가상 시점을 생성하는 과정은 흔하지 않다. 앞으로 깊이 카메라에 RGB 색상 카메라를 합한 형태의 획득 시스템을 구축하여 색상 정보까지 갖는 고품질의 CGH를 생성하는 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스테레오스코픽 디스플레이가 지니는 단점은 무엇입니까?	현재 3D 영상 산업의 발전과 함께 스테레오스코픽 디스플레이가 일반화 되고 있다. 하지만 스테레오스코픽 디스플레이는 안경 착용, 시점 제한 등의 단점이 존재한다. 따라서 이를 보완하기 위하여 무안경 다시점 디스플레이, 홀로그래픽(holographic) 디스플레이 등의 기법이 지속적으로 연구되고 있다.
	홀로그램이란 무엇입니까?	따라서 이를 보완하기 위하여 무안경 다시점 디스플레이, 홀로그래픽(holographic) 디스플레이 등의 기법이 지속적으로 연구되고 있다. 특히 홀로그램(hologram)은 빛의 세기뿐만 아니라 위상정보까지 포함하여 원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이다. 따라서 3차원 입체 비디오처리 기술의 최종목표는 완전한 입체시가 가능한 홀로그램 서비스라고 해도 과언이 아니며, 이 기술은 궁극적인 영상정보통신 서비스 결정체로 인식되어 왔다.
	computer-generated hologram(CGH)기법은 무엇입니까?	이런 문제들은 홀로그램의 기술적 발전에 걸림돌이 되고 있으며 이를 해결하기 위해 Brown 등은 computer-generated hologram(CGH)기법을 제안하였다[3]. 이 기법은 기존의 광학계를 수학적으로 모델링하여 일반 범용 컴퓨터에서도 홀로그램을 생성할 수 있게 해주는 기술이다. CGH로 만들어진 물체는 수학적인 계산 혹은 그림 묘사(graphical descriptions), 공간적인 샘플로 나타낼 수 있다.

참고문헌 (9)

T. Motoki, H. Isono, and I. Yuyama, "Present status of three-dimensional television research," Proc. IEEE 83(7), pp. 1009-1021, July 1995.

상세보기
W. H. Ryu and M. H. Jeong, "A study on threedimensional computer generated holograms by 3-D coordinates transformation", Applied Optical Society of Korea, vol. 17, pp. 525-531, December 2006.
B. R. Brown and A. W. Lohmann, "Complex spatial filtering wit binary masks", Applied Optics, vol. 5, pp. 967-969, June 1966.

상세보기
박세환, 송혁, 장은영, 허남호, 김진웅, 김진수, 이상훈, 유지상, "다시점 동영상에서 임의 시점 영상 생성을 위한 가려진 영역 보상기법", 한국통신학회 논문지, 제33권 제12호, pp.1029-1038, 12월, 2008년
김태준, 장은영, 허남호, 장진웅, 유지상, "다시점 카메라 모델의 기하학적 특성을 이용한 가상 시점 영상 생성 기법", 한국통신학회 논문지, 제34권, 제12호, pp.1154-1166, 12월, 2009년.
H. Yoshikawa, S. Iwase, and T. Oneda, "Fast computation of fresnel holograms employing differences", Proceeding of SPIE, vol. 3956, 2000.
서영호, 최현준, 유지상, 김동욱, "디지털 홀로그램의 고속 생성을 위한 병렬화 알고리즘 및 셀 기반의 하드웨어 구조", 방송공학회 논문지, 제16권 제1호, pp-54-63, 1월, 2011년.

원문보기 상세보기
Zhengyou Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, pp.1330-1334, 2000.

상세보기
Karajeh, Huda, Abdel-rahim, Intermediate view reconstruction for multiscopic 3D display, Durham University, April 2012.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증