[논문]추정된 시공간 배경 정보를 이용한 홀채움 방식

김범수; 응웬띠 엔닷; 홍민철

doi:10.5573/ieie.2017.54.8.67

추정된 시공간 배경 정보를 이용한 홀채움 방식
Hole-Filling Method Using Extrapolated Spatio-temporal Background Information 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.54 no.8 = no.477, 2017년, pp.67 - 80

김범수 (숭실대학교 전자정보공학부) , 응웬띠 엔닷 (숭실대학교 전자정보공학부) , 홍민철 (숭실대학교 전자정보공학부)

초록
AI-Helper

본 논문에서는 추정된 시공간 배경 정보를 이용하여 자유 시점에서 합성영상을 생성하기 위한 홀채움 방식을 제안한다. 시간적 배경 정보를 추정하기 위해 비겹침 패치 기반의 배경 코드북을 이용한 새로운 시간적 배경 모델을 소개한다. 더불어, 공간적 배경 후보의 하한 및 상한 값의 제약 조건을 설정하는 깊이영상 기반 공간적 국부 배경 예측 방식에 대해 제안한다. 추정된 시간적 배경 정보와 공간적 배경 정보의 유사도를 비교하여 가려짐 배경 영역의 홀채움 과정을 수행한다. 또한 3-D 워핑 후 발생하는 컬러영상과 깊이영상간의 불일치 문제를 해결하기 위해 깊이영상 기반의 고스트 제거 필터를 기술한다. 마지막으로 잔여 홀을 채우기 위해 새로운 깊이 항을 포함한 우선순위 함수를 이용하여 인페인팅 방식이 적용된다. 실험 결과를 통해 기존의 홀채움 방식들과 비교하여 제안하는 방식의 객관적, 주관적 성능의 우수성을 확인할 수 있었다.

Abstract ▼ AI-Helper

This paper presents a hole-filling method using extrapolated spatio-temporal background information to obtain a synthesized view. A new temporal background model using non-overlapped patch based background codebook is introduced to extrapolate temporal background information In addition, a depth-map driven spatial local background estimation is addressed to define spatial background constraints that represent the lower and upper bounds of a background candidate. Background holes are filled by comparing the similarities between the temporal background information and the spatial background constraints. Additionally, a depth map-based ghost removal filter is described to solve the problem of the non-fit between a color image and the corresponding depth map of a virtual view after 3-D warping. Finally, an inpainting is applied to fill in the remaining holes with the priority function that includes a new depth term. The experimental results demonstrated that the proposed method led to results that promised subjective and objective improvement over the state-of-the-art methods.

주제어

질의응답

핵심어	질문	논문에서 추출한 답변
	인페이팅 기법의 한계는?	인페인팅(inpainting) 기법은 영상 내에서 알려지지 않은 영역과 이웃한 알려진 영역이 유사한 통계적 속성 또는 기하학적 구조를 공유한다는 특성을 이용하여 홀채움에 활용되어 왔다[7～9]. 인페이팅 기법은 배경 영역과 전경 영역을 구분할 수 있는 깊이 정보와 결합하여 효과적으로 홀채움이 가능함이 입증되었으나[10～13] 가려짐 영역에서 배경 영역과 전경 영역에 대한 정보가 제한적인 경우 홀채움 성능에 한계가 존재한다[14～16]. 그러므로 가상 시점에서 만족스러운 합성영상을 생성하기 위해서는 가려짐 영역에서 전경과 배경 영역 분리의 정확성이 매우 중요하다.
	깊이영상 기반 렌더링에는 어떤 문제점이 존재하는가?	특히, 단일 컬러 및 깊이영상을 이용하여 가상 시점에서의 합성영상을 생성하는 깊이영상 기반 렌더링(Depth Image-Based Rendering)에 대한 연구가 활발히 진행되어 왔다[1]. 그러나 DIBR은 가상 시점 영상을 생성하기 위해 사용되는 3-D 워핑(warping) 과정에서 부정확한 깊이 정보 및 가려짐 현상에 의해 홀 현상을 발생하는 문제점이 존재한다. 부정확한 깊이 정보에 의해 발생하는 홀은 작은 영역으로 나타나며, 이웃 정보를 이용하여 효과적인 홀채움(hole-filling)이 가능하다.
	인페인팅 기법은 어떤 특성을 가지고 있는가?	인페인팅(inpainting) 기법은 영상 내에서 알려지지 않은 영역과 이웃한 알려진 영역이 유사한 통계적 속성 또는 기하학적 구조를 공유한다는 특성을 이용하여 홀채움에 활용되어 왔다[7～9]. 인페이팅 기법은 배경 영역과 전경 영역을 구분할 수 있는 깊이 정보와 결합하여 효과적으로 홀채움이 가능함이 입증되었으나[10～13] 가려짐 영역에서 배경 영역과 전경 영역에 대한 정보가 제한적인 경우 홀채움 성능에 한계가 존재한다[14～16].

참고문헌 (24)

C. Fehn, "Depth-image-based rendering (DIBR), compression, and transmission for a new approach on 3D TV," in SPIE Int. Conf. Stereoscopic Display and Virtual Reality Syst. XI, pp. 93-104, Jan. 2004,
P. Kauff, N. Atzpadin, C. Fehn, M. Muller, O. Schreer, A. Smolic, and R. Tanger, "Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability," Signal Process.: Image Commu., vol. 22, no. 2, pp. 217-234, Feb. 2007.

상세보기
C. Zhu and S. Li, "Depth image based view synthesis: new insights and perspectives on hole generation and filling," IEEE Trans. Broadcast., vol. 62, no. 1, pp. 82-93, Mar. 2016.

상세보기
L. Zhang and W. J. Tam, "Stereoscopic image generation based on depth images for 3D TV," IEEE Trans. Broadcast., vol. 51, no. 2, pp. 191-199, June 2005.

상세보기
C. L. Zitnick, S. B. Kang, M. Uyttendaele, S. Winder, and R. Szeliski, "High-quality video view interpolation using a layered representation," ACM Trans. Graphics, vol. 23, no. 3, pp. 600-608, Aug. 2004.

상세보기
M. Solh and G. AlRegib, "Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video," IEEE. J. Selected Topic in Signal Process., vol.6, no.5, pp. 495-504, Sep. 2012.

상세보기
M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester, "Image inpainting," in Proc. ACM the 27th Int. Conf. Computer Graphics and Interactive Tech. (SIGGRAPH), pp. 417-424, July 2000.
A. Criminisi, P. Perez, and K. Toyama, "Object removal by exemplarbased inpainting," in Proc. IEEE Int. Conf. Computer Vision and Pattern Recog. (CVPR), doi:10.1109/CVPR.2003.1211538, July 2003.
C. Guillemot and O. Le Meur, "Image inpainting: Overview and recent advances," IEEE Signal Process. Mag., vol. 31, no. 1, pp. 127-144, Jan. 2014.

상세보기
Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Process.: Image Commu., vol. 24, no. 1-2, pp. 65-72, Jan. 2009.

상세보기
K. Oh, S. Yea, and Y.-S. Ho, "Hole filling method using depth based inpainting for view synthesis in free viewpoint television and 3-D video," in Proc. Picture Coding Symp., doi:10.1109/PCS.2009.5167450, July 2009.
S. Zinger, L. Do, and P. H. N. de With, "Free-viewpoint depth image based rendering," J. Vis. Comm. Image Represent., vol. 21, no. 5-6, pp. 533-541, July 2010.

상세보기
I. Daribo and H. Saito, "A novel inpainting-based layered depth video for 3DTV," IEEE Trans. Broadcast., vol. 57, no. 2, pp. 533-541, June 2011.

상세보기
I. Ahn and C. Kim, "A depth-based disocclusion filling method for virtual viewpoint image synthesis," Journal of the Institute of Electronics Engineers of Korea SP, vol. 48, no. 6, pp. 48-60, Nov. 2011.
S. Choi, B. Ham, and K. Sohn, "Space-time hole filling with random walks in view extrapolation for 3D video," IEEE. Trans. Image Process., vol. 22, no. 6, pp. 2429-2441, June 2013.

상세보기
S. M. Muddala, M. Sjostrom, R. Olsson, "Virtual view synthesis using layered depth image generation and depth-based inpainting for filling disocclusions and translucent disocclusion," J. Vis. Commu. Image Represent., vol. 38, pp. 351-366, July 2016.

상세보기
P. Mdjiki-Nya, M. Koppel, D. Doshkov, H. Lakshman, P. Merkle, K. Muller, and T. Wiegand, "Depth image-based rendering with advanced texture synthesis for 3-D Video," IEEE Trans. Multimedia, vol. 13, no. 3, pp. 453-465, June 2011.

상세보기
M. Koppel, X. Wang, D. Doshkov, T. Wiegand, and P. Ndjiki-Nya, "Consistent spatio-temporal filling of disocclusions in the multiview-video-plus-depth format," in Proc. IEEE Int. Workshop Multimedia Signal Process., pp. 25-30, Sep. 2012.
M. Xi, L.-H. Wang, Q.-Q. Yang, D.-X. Li, and M. Zhang, "Depthimage-based rendering with spatial and temporal texture synthesis for 3DTV," EURASIP J. Image and Video Process., doi:10.1186/1687-5281-2013-9, Dec. 2013.

상세보기
C. Yao, T. Tillo, X. Jimin, "Depth map driven hole filling algorithm exploiting temporal correlation information," IEEE Trans. Broadcast., vol. 60, no. 2, pp. 394-404, June 2014.

상세보기
K. Kim, T. H. Chalidabhongse, D. Harwood, and L. Davis, "Background modeling and subtraction by codebook construction," in IEEE Int. Conf. Image Process., pp. 3061-3064, Oct. 2004.
E. J. Fernandez-Sanchez, D. Javier, and R. Eduardo, "Background subtraction based on color and depth using active sensors," Sensors, vol. 13, no. 7, pp. 8895-8915, July 2013.

상세보기
A. S. Glassner, Ed., Graphics Gems I, Academic Press, Cambridge, MA, 1990.
W. Zhou, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. Image Process., vol. 13, no. 4, pp. 600-612, Apr. 2004.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증