[논문]깊이 불연속 정보를 이용한 저해상도 깊이 영상의 업샘플링 방법

강윤석; 호요성

doi:10.7840/kics.2013.38c.10.875

초록
AI-Helper

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

Abstract ▼ AI-Helper

When we generate 3D video that provides immersive and realistic feeling to users, depth information of the scene is essential. Since the resolution of the depth map captured by a depth sensor is lower than of the color image, we need to upsample the low-resolution depth map for high-resolution 3D vi...

When we generate 3D video that provides immersive and realistic feeling to users, depth information of the scene is essential. Since the resolution of the depth map captured by a depth sensor is lower than of the color image, we need to upsample the low-resolution depth map for high-resolution 3D video generation. In this paper, we propose a depth upsampling method using depth-discontinuity information. Using the high-resolution color image and the low-resolution depth map, we detect depth-discontinuity regions. Then, we define an energy function for the depth map upsampling and optimize it using the belief propagation method. Experimental results show that the proposed method outperforms other depth upsampling methods in terms of the bad pixel rate.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 제안한다. 제안하는 방법에서는 고해상도의 색상 영상과 저해상도 깊이 영상을 이용하여 색상 영상에서의 깊이 불연속 구간을 정의하고, 그 구간을 침범하여 인접 화소들의 값에 영향을 미치지 않도록 하고, 또한 현재 화소와 그 주변 영역의 평탄한 정도를 고려하여 MRF 모델의 평활화(smoothness) 항을 설계한다.
본 논문에서는 MRF 모델에 기반하여 깊이 불연속 영역을 고려한 깊이 영상 업샘플링 방법을 제안하였다. 기존의 MRF 모델 기반이나 필터 기반의 깊이 영상 업샘플링 방법들은 깊이 불연속 영역을 고려하지 않기 때문에 경계 영역이 흐려짐으로 인해 업샘플링의 성능이 저하되는 문제점이 있었다.

제안 방법

본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 제안한다. 제안하는 방법에서는 고해상도의 색상 영상과 저해상도 깊이 영상을 이용하여 색상 영상에서의 깊이 불연속 구간을 정의하고, 그 구간을 침범하여 인접 화소들의 값에 영향을 미치지 않도록 하고, 또한 현재 화소와 그 주변 영역의 평탄한 정도를 고려하여 MRF 모델의 평활화(smoothness) 항을 설계한다. 최종적으로 신뢰 확산을 이용하여 최적화함으로써 고해상도의 깊이 영상을 생성한다.
본 장에서는 깊이 불연속 정보를 이용하여 MRF 모델 기반의 깊이 영상을 업샘플링 방법을 설명한다. 제안하는 방법의 전체 흐름은 그림 2에 나타나 있다.
업샘플링의 실험을 위해 깊이 영상의 원본 해상도에 대하여 각각 2배, 4배, 8배로 다운샘플링을 하였다. 다운샘플링 방법은 n배 다운샘플의 경우 가로와 세로에 대해 n번째 화소마다 한 화소씩 추출하여 다운샘플링 된 영상을 만들었다.
기존의 MRF 모델 기반이나 필터 기반의 깊이 영상 업샘플링 방법들은 깊이 불연속 영역을 고려하지 않기 때문에 경계 영역이 흐려짐으로 인해 업샘플링의 성능이 저하되는 문제점이 있었다. 제안하는 방법에서는 색상 영상의 경계 영역들을 대상으로 깊이 불연속 영역을 찾고, 해당 영역을 고려하여 에너지 함수의 평활화 항을 위한 색상 차이의 가중치를 결정하고, 또한 깊이 영역의 분산 값을 이용한 가중치로 한번 더 평활화 항의 영향을 조절한다. 그리고 신뢰 확산 방법을 이용하여 에너지 함수를 최적화함으로써, 업샘플링된 깊이 영상을 원본 깊이 영상과 비교해 보았을 때, 기존의 방법들보다 우수한 성능을 나타내었다.

대상 데이터

실험을 위해 Middlebury 웹사이트에서 제공하는 테스트 영상 Cones, Teddy, Venus를 사용하였다. 그림 7은 각각의 색상 영상과 동일한 해상도의 원본 깊이 영상(ground truth)를 보여준다.

이론/모형

색상 영상의 차이를 이용하였기 때문에, 실제 깊이는 변화가 없는 영역에서도 경계 영역이 검출된 것을 볼 수 있다. 이제 깊이 불연속 영역의 검출을 위해서 저해상도 깊이 영상을 bicubic 방법을 이용하여 업샘플링한다. 그 결과 깊이 영상에서의 경계 부분, 즉 깊이 불연속 부분에 흐려짐 현상이 나타난 결과를 그림 4(c)에서 볼 수 있다.

성능/효과

즉, BPR 값이 작을 수록 원본 깊이 영상에 가깝게 업샘플링 되었다고 할 수 있다. 제안하는 방법과 함께 bicubic 업샘플링 방법, MRF 모델을 이용한 방법 [8], 필터 기반인 JBU [6]에 대한 결과도 나타내었다.
표 1의 결과에서 보듯이, 제안하는 방법은 다른 업샘플링 방법에 비해 실험에 사용된 영상의 대부분의 스케일에 대해서 우수한 결과를 나타내었다. 색상 차이의 가중치만을 이용한 기존 MRF 모델 기반의 방법과 비교해 보았을 때, 깊이 불연속 영역을 고려하였기 때문에 경계 영역에서 더 우수한 성능을 나타내었음을 알 수 있다.
그림 9는 표 1에서 비교한 방법들로 4배 업샘플링된 Cones 영상과 제안하는 방법으로 얻은 결과 중 일부를 보여준다. 객체의 경계 영역에서 제안하는 방법이 더 우수한 결과를 나타냄을 알 수 있다.
제안하는 방법에서는 색상 영상의 경계 영역들을 대상으로 깊이 불연속 영역을 찾고, 해당 영역을 고려하여 에너지 함수의 평활화 항을 위한 색상 차이의 가중치를 결정하고, 또한 깊이 영역의 분산 값을 이용한 가중치로 한번 더 평활화 항의 영향을 조절한다. 그리고 신뢰 확산 방법을 이용하여 에너지 함수를 최적화함으로써, 업샘플링된 깊이 영상을 원본 깊이 영상과 비교해 보았을 때, 기존의 방법들보다 우수한 성능을 나타내었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	장면의 깊이 정보는 어떤 영상의 형태로 사용되는가?	일반적으로 장면의 깊이 정보는 카메라로부터 장면까지의 거리가 상대적으로 양자화된 깊이 영상의 형태로, 혹은 정렬된 양안식 영상에서 현재 화소의 위치와 인접 시점에 해당 화소가 맺히는 위치의 화소 간 거리를 값으로 가지는 변위(disparity) 영상의 형태로 사용된다. 이러한 깊이 정보는 3차원 영상 제작 및 3차원 응용분야의 구현에 있어 필수적인 요소로 사용된다.
	스테레오 정합과 깊이 센서의 정보를 함께 이용하는 방법은 어떠한 문제를 해결하기 위해 제안되었는가?	Time-of-Flight (TOF) 기술을 이용한 깊이 센서는 적외선 신호의 위상 차를 이용하여 센서로부터 장면 내 물체까지의 거리를 직접 측정하여 깊이 영상을 출력한다. 깊이 센서는 장면의 정확한 깊이 정보를 실시간으로 획득할 수 있지만, 출력 해상도가 작다는 문제점을 가지고 있다. 이러한 문제점을 해결하기 위해, 스테레오 정합과 깊이 센서의 정보를 함께 이용하는 방법이 제안되었고[5], 깊이 영상의 해상도를 업샘플링하는 여러 가지 기술들도 최근 많은 연구가 수행되고 있다.
	양안식(stereo) 영상의 특징은?	3차원 비디오는 입체 영상을 통해 사용자에게 깊이 감과 몰입감을 줄 수 있는 차세대 영상 서비스로 각광 받고 있다[1]. 양안식(stereo) 영상은 두 시점 간 존재하는 시차정보로 인해 거리감을 제공하며, 다시점(multi-view) 영상의 경우 양안식 영상보다 더 넓은 시야각과 풍부한 입체감을 제공해 줄 수 있다. 또한 양안식 혹은 다시점 영상과 함께 촬영된 장면의 깊이 정보를 가질 때 3차원 비디오의 다양한 활용이 가능하다.

참고문헌 (8)

C. Fehn, R. Barre, and S. Pastoor, "Interactive 3DTV - concepts and key technologies," Proc. IEEE, vol. 94, no. 3, pp. 524-538, Mar. 2006.

상세보기
C. Fehn, "Depth-image-based rendering (DIBR), compression, and transmission for a new approach on 3D-TV," Proc. SPIE Stereoscopic Displays Virtual Reality Syst., vol. 5921, pp. 93-104, May 2004.
A. Smolic and P. Kauff, "Interactive 3-D video representation and coding technologies," Proc. IEEE, vol. 93, no. 1, pp. 99-110, Jan. 2005.
J. Sun, N. N. Zheng, and H. Y. Shum, "Stereo matching using belief propagation," IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 5, pp. 787-800, July 2003.

상세보기
Y. S. Kang and Y. S. Ho, "Generation of high-resolution disparity map using multiple cameras and low-resolution depth camera," in Proc. KICS 2012 Fall Conf., pp. 287-288, Seoul, Korea, Nov. 2012.
J. Kopf, M. Cohen, D. Lischinski, and M. Uyttendaele, "Joint bilateral up-sampling," ACM Trans. Graphics, vol. 26, no. 3, pp. 1-5, Aug. 2007.
D. Chan, H. Buisman, C. Theobalt, and S. Thrun, "A noise-aware filter for real-time depth upsampling," in Proc. ECCV Workshop Multi-camera Multi-modal Sensor Fusion Algorithms Applicat., pp. 1-12, Marseille, France, Oct. 2008.
J. Diebel and S. Thrun, "An application of markov random fields to range sensing," Advances in Neural Inform. Process. Syst., vol. 18, pp. 291-298, Dec. 2006.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 깊이 불연속 정보를 이용한 저해상도 깊이 영상의 업샘플링 방법
Low-Resolution Depth Map Upsampling Method Using Depth-Discontinuity Information 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 깊이 불연속 정보를 이용한 저해상도 깊이 영상의 업샘플링 방법 Low-Resolution Depth Map Upsampling Method Using Depth-Discontinuity Information 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

강윤석 (8) 호요성 (143)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 깊이 불연속 정보를 이용한 저해상도 깊이 영상의 업샘플링 방법
Low-Resolution Depth Map Upsampling Method Using Depth-Discontinuity Information 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper