[논문]선택적 가중치를 이용한 깊이 영상 업샘플링 알고리즘

신수연; 김동명; 서재원

doi:10.6109/jkiice.2017.21.7.1371

선택적 가중치를 이용한 깊이 영상 업샘플링 알고리즘
Depth Image Upsampling Algorithm Using Selective Weight 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.21 no.7, 2017년, pp.1371 - 1378

신수연 (Department of Electronic Engineering, Chungbuk National University) , 김동명 (Department of Electronic Engineering, Chungbuk National University) , 서재원 (Department of Electronic Engineering, Chungbuk National University)

초록
AI-Helper

본 논문은 양방향 가중치를 이용하는 기존의 업샘플링 방법들에서 나타난 색상 텍스쳐 복사(color texture copy) 문제를 방지하기 위해 선택적 양방향 가중치와 라플라시안 함수를 이용한 색상 가중치를 제안한다. 제안하는 알고리즘은 먼저 3차 회선 보간법(bicubic interpolation)을 통해 높은 해상도의 깊이영상을 생성한다. 그 후 색상영상과 깊이영상의 주변 화소값 차이를 이용하여 색상 텍스쳐 영역을 추정한다. 만일 보간 된 화소가 색상 텍스쳐 영역에 속한다면 해당화소를 포함하는 $3{\times}3$ 영역의 화소들에 대한 거리정보와 깊이정보의 가중치를 구하고 경계 화소값 결정을 위한 비용계산을 수행한다. 반면에 색상 텍스쳐 영역에 포함되지 않는 화소는 깊이정보 가중치 대신 색상정보 가중치를 구하여 비용계산을 수행한다. 아홉 개의 화소에 대한 비용계산이 끝나면 가장 작은 경계 화소값 결정 비용을 가지는 화소 값을 결과영상의 화소값으로 정한다. 제안하는 알고리즘은 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

Abstract ▼ AI-Helper

In this paper, we present an upsampling technique for depth map image using selective bilateral weights and a color weight using laplacian function. These techniques prevent color texture copy problem, which problem appears in existing upsamplers uses bilateral weight. First, we construct a high-resolution image using the bicubic interpolation technique. Next, we detect a color texture region using pixel value differences of depth and color image. If an interpolated pixel belongs to the color texture edge region, we calculate weighting values of spatial and depth in $3{\times}3$ neighboring pixels and compute the cost value to determine the boundary pixel value. Otherwise we use color weight instead of depth weight. Finally, the pixel value having minimum cost is determined as the pixel value of the high-resolution depth image. Simulation results show that the proposed algorithm achieves good performance in terns of PSNR comparison and subjective visual quality.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 색상영상을 가중치로 사용함으로서 나타날 수 있는 텍스쳐 복사 현상을 방지하기 위해 색상 텍스쳐 영역을 탐색하여 상황에 맞는 가중치를 선택하는 방법을 제안한다. 제안하는 알고리즘은 색상 텍스쳐 영역을 탐색하기 위해 우선 색상영상 I^h와 고해상도 깊이영상 D^h의 각 화소위치에 대해 3×3 영역 내에 존재하는 주변 화소와 현재 화소간의 화소값 차이 평균(MD)을 구한다.
본 논문은 선택적 양방향 가중치를 이용하여 깊이 영상을 업샘플링하는 방법을 제안하였다. 제안하는 업샘플링 방법은 모든 화소 위치에 색상가중치를 적용하는 기존의 양방향 업샘플링 방식과는 달리 색상 텍스쳐 영역으로 추정되는 영역에 대해 색상 가중치 대신 깊이가 중치를 적용하여 텍스쳐 복사로 인한 오류를 최소화하였다.

제안 방법

알고리즘의 우수성을 확인하기 위해 3차 회선 보간법(bicubic)[2], 결합형 양방향 업샘플러(JBU)[3], 결합형 삼방향 업샘플러(JTU) [4], 고속 결합형 양방항 업샘플러(FBDU)[7]의 알고리즘과 비교하였다. 각 결과영상과 원본영상 사이의 PSNR수치를 통해 객관적인 화질 성능 비교를 하였으며 각각의 주관적 화질 손상 정도를 비교하였다. 경계 화소값 결정을 위한 가중치 파라미터는 실험적으로 가장 좋은 결과가 나온 수치인 δ_R=2, δ_O=0.
경계 화소값 결정을 위한 가중치 파라미터는 실험적으로 가장 좋은 결과가 나온 수치인 δR=2, δO=0.1, δD=0.1, TD=50으로 설정하였다.
만일 현재 화소 p가 색상 텍스쳐 영역에 속한다면 깊이영상의 근접 화소간의 차이값에 비해 색상영상의 근접 화소값 차이값이 클 가능성이 높다. 때문에 제안하는 방법은 AD_p가 문턱값 T_d 보다 크다면 해당 화소는 색상 텍스쳐 영역에 속한다고 판단하고, 추후 해당 화소 위치에서 선택적 영역 가중치를 계산 할 때 깊이 화소 가중치를 선택한다. 반면에 AD_p가 T_d 보다 작다면 색상 텍스쳐 영역에 속하지 않는다고 판단하여 색상 화소 가중치를 선택한다.
제안하는 알고리즘의 성능 비교를 위해 원본 깊이 영상이 존재하는 테스트 영상[8,9]을 이용하여 실험하였다. 알고리즘의 우수성을 확인하기 위해 3차 회선 보간법(bicubic)[2], 결합형 양방향 업샘플러(JBU)[3], 결합형 삼방향 업샘플러(JTU) [4], 고속 결합형 양방항 업샘플러(FBDU)[7]의 알고리즘과 비교하였다. 각 결과영상과 원본영상 사이의 PSNR수치를 통해 객관적인 화질 성능 비교를 하였으며 각각의 주관적 화질 손상 정도를 비교하였다.
먼저 3차회선 보간법을 이용하여 고해상도 깊이영상 B^h를 생성한다. 이후, 생성된 고해상도 깊이 영상과 색상영상의 화소 정보를 이용하여 해당화소 위치에서 사용할 가중치의 종류를 선택한다. 마지막으로 화소 주변 3×3영역의 깊이영상과 색상영상의 영상 정보를 이용하여 비용함수 Cost_qx를 계산한 후, 최소값을 갖는 위치의 화소값이 최종 깊이영상의 화소값으로 결정된다.
제안하는 알고리즘은 기존의 업샘플링 방법들에서 나타나는 색상영상 가중치로 인한 왜곡 문제와 깊이 경계가 흐려지는 문제들을 개선한다. 색상영상 가중치로 인해 나타나는 왜곡은 경계영역을 효율적으로 선택하고 제한적으로 가중치를 계산하는 알고리즘을 구현하여 개선하고 경계선이 흐려지는 문제는 새로운 최소비용 알고리즘을 통해 성능을 향상시킨다.
제안하는 알고리즘은 색상 텍스쳐 영역을 탐색하기 위해 우선 색상영상 Ih와 고해상도 깊이영상 Dh의 각 화소위치에 대해 3×3 영역 내에 존재하는 주변 화소와 현재 화소간의 화소값 차이 평균(MD)을 구한다.
제안하는 알고리즘은 우선 현재 화소 p를 포함하는 9개의 후보화소 q_x들에 대해 각각의 경계결정비용 Cost_qx를 구한다. 경계결정비용 Cost_qx는 깊이 영상의 현재화소 #와 후보화소 #의 차이값과 선택적 영역가중치 W_qx의 곱으로 정의한다

대상 데이터

제안하는 알고리즘의 성능 비교를 위해 원본 깊이 영상이 존재하는 테스트 영상[8,9]을 이용하여 실험하였다. 알고리즘의 우수성을 확인하기 위해 3차 회선 보간법(bicubic)[2], 결합형 양방향 업샘플러(JBU)[3], 결합형 삼방향 업샘플러(JTU) [4], 고속 결합형 양방항 업샘플러(FBDU)[7]의 알고리즘과 비교하였다.

이론/모형

제안하는 알고리즘은 그림 1과 같은 흐름도로 나타낼 수 있다. 먼저 3차회선 보간법을 이용하여 고해상도 깊이영상 B^h를 생성한다. 이후, 생성된 고해상도 깊이 영상과 색상영상의 화소 정보를 이용하여 해당화소 위치에서 사용할 가중치의 종류를 선택한다.

성능/효과

결과적으로 거리 가중치는 가까운 화소들 간의 상관성을 높여주며 화소값 가중치는 텍스쳐 유무에 따라 깊이영상의 화소값과 색상영상의 화소값 중 하나를 선택함으로서 경계 영역을 보존함과 동시에 색상 텍스쳐 복사 현상을 최대한 줄인다.
주관적 화질을 비교한 결과 두 배로 업샘플링 했을 때 midd 영상의 경우 색상 무늬가 존재하는 부분이나 조형물의 주룸 부분에서 JBU와 FBDU에서는 색상텍스쳐 복사 오류가 나타났지만 제안하는 알고리즘에서는 나타나지 않은 것을 확인할 수 있었다. 또한 4배로 업샘플링한 결과 경계영역이 흐려지며 홀 영역이 증가하는 다른 알고리즘들에 비해 깨끗한 결과 영상을 얻을 수 있었다.
실험결과 다른 알고리즘과 비교하였을 때 뚜렷한 경계 영역을 보존하였고 특히 깊이영상에 비해 색상영상이 복잡한 패턴을 가지는 영상에 대해 가시적으로 좋은 성능을 보였다. 또한 기존의 알고리즘들에 비해 높은PSNR 결과를 보였다.
제안하는 업샘플링 방법은 모든 화소 위치에 색상가중치를 적용하는 기존의 양방향 업샘플링 방식과는 달리 색상 텍스쳐 영역으로 추정되는 영역에 대해 색상 가중치 대신 깊이가 중치를 적용하여 텍스쳐 복사로 인한 오류를 최소화하였다. 또한 라플라시안 함수를 이용하여 색상가중치의 범위를 정확하게 좁힘으로서 색상영상을 참조함으로서 발생할 수 있는 오류를 더욱 줄였다.
시뮬레이션 결과 2배 업샘플링 했을 때 제안한 알고리즘이 Bicubic[2], JBU[3], JTU[4], FBDU[7] 에 비해 각각 평균 1.35dB, 11.56dB, 11.61dB, 0.79dB 정도 성능이 높았으며 4배 업샘플링 결과 평균 1.95dB,11.12dB, 11.21dB, 0.68dB 정도 높은 성능을 보였다.
실험결과 다른 알고리즘과 비교하였을 때 뚜렷한 경계 영역을 보존하였고 특히 깊이영상에 비해 색상영상이 복잡한 패턴을 가지는 영상에 대해 가시적으로 좋은 성능을 보였다. 또한 기존의 알고리즘들에 비해 높은PSNR 결과를 보였다.
본 논문은 선택적 양방향 가중치를 이용하여 깊이 영상을 업샘플링하는 방법을 제안하였다. 제안하는 업샘플링 방법은 모든 화소 위치에 색상가중치를 적용하는 기존의 양방향 업샘플링 방식과는 달리 색상 텍스쳐 영역으로 추정되는 영역에 대해 색상 가중치 대신 깊이가 중치를 적용하여 텍스쳐 복사로 인한 오류를 최소화하였다. 또한 라플라시안 함수를 이용하여 색상가중치의 범위를 정확하게 좁힘으로서 색상영상을 참조함으로서 발생할 수 있는 오류를 더욱 줄였다.
그림 5는 Midd 영상을 두 배로 업샘플링 했을 경우의 화질을 비교 영상이며 그림 6은 cloth 영상을 네 배로 업샘플링 했을 경우의 화질 비교 영상이다. 주관적 화질을 비교한 결과 두 배로 업샘플링 했을 때 midd 영상의 경우 색상 무늬가 존재하는 부분이나 조형물의 주룸 부분에서 JBU와 FBDU에서는 색상텍스쳐 복사 오류가 나타났지만 제안하는 알고리즘에서는 나타나지 않은 것을 확인할 수 있었다. 또한 4배로 업샘플링한 결과 경계영역이 흐려지며 홀 영역이 증가하는 다른 알고리즘들에 비해 깨끗한 결과 영상을 얻을 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Timeof-Flight이란?	최근 3D콘텐츠에 대한 관심이 급증하면서 입체감을 나타내기 위해 필요한 깊이영상을 획득하는 연구가 주목받고 있다. 대표적인 깊이 정보 취득 기술인 Timeof-Flight(TOF) 방식은 센서로부터 물체까지의 거리를 실시간으로 측정할 수 있다[1]. 하지만 깊이 센서를 이용하여 깊이 정보를 직접 획득하는 경우 깊이영상의 출력해상도의 제한으로 인해 색상영상에 비해 상대적으로 낮은 해상도의 깊이영상을 얻는다.
	가우시안 함수를 기반으로 화소를 보간의 한계는?	하지만 색상 정보를 가중치롤 이용하기 때문에 색상영상과 깊이영상의 객체 경계가 불일치 할 경우 텍스쳐 복사(texture copy) 오류를 일으킬 수 있다. 또한 가우시안 함수를 기반으로 화소를 보간하기 때문에 2배 이상의 큰 해상도로 업샘플링해야 하는 경우 경계 영역이 매우 흐려지게 된다. 이러한 결합형 양방향 업샘플링의 단점을 보완하기 위해 Li[4]는 먼저 업샘플링을 수행한 깊이영상의 화소값을 가중치로 추가하는 알고리즘을 제안하였다.
	TOF의 문제점은?	대표적인 깊이 정보 취득 기술인 Timeof-Flight(TOF) 방식은 센서로부터 물체까지의 거리를 실시간으로 측정할 수 있다[1]. 하지만 깊이 센서를 이용하여 깊이 정보를 직접 획득하는 경우 깊이영상의 출력해상도의 제한으로 인해 색상영상에 비해 상대적으로 낮은 해상도의 깊이영상을 얻는다. 따라서 깊이영상의 해상도를 색상영상과 동일하게 맞추는 과정이 필요한데, 보통 3차회선 보간법(bicubic interpolation)[2]을 이용하여 깊이영상을 색상영상과 동일한 해상도로 보간한다.

참고문헌 (9)

R. Nair, K. Ruhl, and F. Lenzen, "A Survey on Time-of-Flight Stereo Fusion," in Time-of-flight and depth imaging. sensors, algorithms and applications, Springer Berlin Heidelberg., ch. 2, pp. 105-127, 2013.
R. Keys, "Cubic convolution interpolation for digital image processing," IEEE Transactions on Acoustics Speech and Signal Processing, vol. 29, no. 6, pp. 1153-1160, Dec. 1981.

상세보기
M. Kopf, F. Cohen, D. Lischinski, and M. Uyttendaele, "Joint Bilateral Upsampling," ACM Transactions on Graphics, vol. 26, no. 3, Jul. 2007.

상세보기
Y. Li, L. Zhang, Y. Zhang, H. Xuan and Q. Dai, "Depth Map Super-Resolution Via Iterative Joint Trilateral Upsampling," IEEE Conference on Visual Communications and Image Processing, pp. 386-389, 2014.
Q.Yang, R. Yang, and James Davis, "Spatial-Depth Super Resolution for Range Images," IEEE Conference on Computer Vision and Pattern Recognition, pp.1-8, 2007.
Q. Yang, R. Yang, and K. H. Tan, "Fusion of median and bilateral filtering for range image upsampling," IEEE Transactions on Image Processing, vol. 22, no. 12, pp.4841- 4852, Dec. 2013.

상세보기
S. Y. Kim and Y. Ho, "Fast Edge Preserving Depth Image Upsampler," IEEE Transactions on Comsumer Electronics, vol. 58, no. 3, pp. 1176-1190, Aug. 2012.

상세보기
G. Petschnigg, M. Agrawala, H. Hoppe, R. Szeliski, M. Cohen, and K. Toyama, "Digital photography with flash and no-flash image pairs," ACM Transactions on Graphics, vol. 23, no. 3, pp.664-672, Aug. 2004.

상세보기
D. Scharstein, H. Hirschmuller, and P. Westling, "Highresolution stereo datasets with subpixel-accurate ground truth," German Conference on Pattern Recognition, Munster, vol. 8753, pp.31-42, 2014.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증