본 논문은 색상정보와 깊이정보 가중치를 이용한 깊이영상업샘플링 방법을 제안한다. 제안하는 알고리즘은 먼저 양선형 보간법을 통해 높은 해상도의 깊이영상을 생성한다. 그 후 RGB 색상영상, HSV 색상영상, 깊이영상 등을 이용하여 공통경계 영역을 추정한다. 만일 보간 된 화소가 공통경계 영역에 속한다면 해당화소를 포함하는 $3{\times}3$ 영역의 화소들에 대한 색상정보와 깊이정보의 가중치를 구하고 경계 화소값 결정을 위한 비용계산을 수행한다. 그 후 가장 작은 경계 화소값 결정 비용을 가지는 화소 값을 결과영상의 화소값으로 정한다. 제안하는 알고리즘은 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.
본 논문은 색상정보와 깊이정보 가중치를 이용한 깊이영상 업샘플링 방법을 제안한다. 제안하는 알고리즘은 먼저 양선형 보간법을 통해 높은 해상도의 깊이영상을 생성한다. 그 후 RGB 색상영상, HSV 색상영상, 깊이영상 등을 이용하여 공통경계 영역을 추정한다. 만일 보간 된 화소가 공통경계 영역에 속한다면 해당화소를 포함하는 $3{\times}3$ 영역의 화소들에 대한 색상정보와 깊이정보의 가중치를 구하고 경계 화소값 결정을 위한 비용계산을 수행한다. 그 후 가장 작은 경계 화소값 결정 비용을 가지는 화소 값을 결과영상의 화소값으로 정한다. 제안하는 알고리즘은 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.
In this paper, we present an upsampling technique for depth map image using color and depth weights. First, we construct a high-resolution image using the bilinear interpolation technique. Next, we detect a common edge region using RGB color space, HSV color space, and depth image. If an interpolate...
In this paper, we present an upsampling technique for depth map image using color and depth weights. First, we construct a high-resolution image using the bilinear interpolation technique. Next, we detect a common edge region using RGB color space, HSV color space, and depth image. If an interpolated pixel belongs to the common edge region, we calculate weighting values of color and depth in $3{\times}3$ neighboring pixels and compute the cost value to determine the boundary pixel value. Finally, the pixel value having minimum cost is determined as the pixel value of the high-resolution depth image. Simulation results show that the proposed algorithm achieves good performance in terns of PSNR comparison and subjective visual quality.
In this paper, we present an upsampling technique for depth map image using color and depth weights. First, we construct a high-resolution image using the bilinear interpolation technique. Next, we detect a common edge region using RGB color space, HSV color space, and depth image. If an interpolated pixel belongs to the common edge region, we calculate weighting values of color and depth in $3{\times}3$ neighboring pixels and compute the cost value to determine the boundary pixel value. Finally, the pixel value having minimum cost is determined as the pixel value of the high-resolution depth image. Simulation results show that the proposed algorithm achieves good performance in terns of PSNR comparison and subjective visual quality.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 깊이정보와 색상정보의 가중치를 이용하여 깊이영상을 확대하는 업샘플링 방법을 제안하였다. 깊이영상의 각 화소 위치에 대해서 경계영역을 추정하고 깊이영상과 색상정보를 이용한 가중치 기반의 경계 결정 최소 비용 함수를 정의하여 업샘플링 결과 경계영역이 흐려지는 현상을 개선하였다.
제안 방법
알고리즘의 우수성을 확인하기 위해 양선형 보간법(BI)[2]과 결합형 양방향 업샘플러(JBU)[3], 결합형 삼방향 업샘플러(JTU)[4], Kim[6]의 알고리즘과 비교하였다. 각 결과영상과 원본영상 사이의 PSNR수치를 통해 객관적인 화질 성능 비교를 하였고 깊이영상의 가시적 선명도를 비교함으로서 주관적인 화질 성능을 비교하였다. 공통경계탐색과정에서 이용한 캐니 경계 검출기의 문턱치로 최소값은 10으로 최대값은 100으로 설정하였고, 경계 영상의 확장을 위해 수행한 팽창연산의 두께는 3으로 설정하였다.
[그림 3]은 제안하는 공통경계 추정의 전체 과정을 보여준다. 경계영역을 추정하기 위해 세가지 영상정보들의 윤곽선 검출을 실행한다. 먼저 고해상도 색상영상 Ih를 깊이영상과 같은 크기의 해상도로 다운샘플링한다.
세가지 경계영상을 생성한 후에는 업샘플링된 영상의 경계를 추정하기 위해 가장 가까운 화소 값을 복사하는 최근접 화소 보간법을 이용하여 각각의 경계영상을 목표 해상도로 업샘플링한다. 그 다음으로 경계 주변의 픽셀을 공통경계영역에 포함시키기 위해 각 경계영상에 대한 팽창(Dilate)연산을 수행하여 경계영역의 범위를 확장한다. 마지막으로 확장된 각각의 경계영역의 화소 위치를 비교하여 공통적으로 탐색된 경계화소의 위치를 공통 경계영역 Ω에 속한다고 추정한다.
또한 Il영상을 HSV 색공간으로 변환하여 색조(Hue) 정보를 이용한 윤곽선 검출을 실행한다. 그리고 깊이영상 Dl의 윤곽선 검출을 실행한다. 각 영상에서 윤곽선을 검출하기 위해 캐니 윤곽선 검출기[8]를 사용하였다.
하지만 동일한 객체 내부에서도 그림자로 인해 명도차이가 발생할 수 있기 때문에 명도만을 이용하는 것은 경계검출에 한계가 있다. 따라서 효율적으로 경계영역을 선택하기 위해 색상분할영상 및 색조영상의 경계선 정보를 이용하였다.
그 후 저해상도 색상영상 Il의 RGB 색상영역에 대해 k-means 알고리즘[7]을 이용하여 색상 분할을 수행한 후 윤곽선 검출을 실행한다. 또한 Il영상을 HSV 색공간으로 변환하여 색조(Hue) 정보를 이용한 윤곽선 검출을 실행한다. 그리고 깊이영상 Dl의 윤곽선 검출을 실행한다.
제안하는 알고리즘은 [그림 1]과 같은 흐름도로 나타낼 수 있다. 먼저 저해상도 깊이영상 Dl를 양선형 보간법을 이용하여 색상영상 Ih와 같은 해상도를 가지는 깊이영상 Bh로 보간한다. 이후, 깊이영상 Dl와 Dl 크기로 다운샘플링된 색상영상 Il의 정보를 이용하여 공통된 경계영역 Ω를 추정한다.
이 때 경계영역에 포함되는 화소는 255로 경계영역에 포함되지 않는 화소는 0으로 저장한다. 세가지 경계영상을 생성한 후에는 업샘플링된 영상의 경계를 추정하기 위해 가장 가까운 화소 값을 복사하는 최근접 화소 보간법을 이용하여 각각의 경계영상을 목표 해상도로 업샘플링한다. 그 다음으로 경계 주변의 픽셀을 공통경계영역에 포함시키기 위해 각 경계영상에 대한 팽창(Dilate)연산을 수행하여 경계영역의 범위를 확장한다.
제안하는 알고리즘의 성능 비교를 위해 원본 깊이 영상이 존재하는 테스트 영상[9]을 이용하여 실험하였다. 알고리즘의 우수성을 확인하기 위해 양선형 보간법(BI)[2]과 결합형 양방향 업샘플러(JBU)[3], 결합형 삼방향 업샘플러(JTU)[4], Kim[6]의 알고리즘과 비교하였다. 각 결과영상과 원본영상 사이의 PSNR수치를 통해 객관적인 화질 성능 비교를 하였고 깊이영상의 가시적 선명도를 비교함으로서 주관적인 화질 성능을 비교하였다.
업샘플링 첫 과정으로 기존의 업샘플링 방법들 중 비교적 빠르고 정확한 업샘플링 방법인 양선형 보간을 수행하여 깊이영상을 업샘플링한다. [그림 2]는 양선형 보간을 위한 화소 p와 주변 화소들 A, B, C, D 간의 거리 관계를 나타낸다.
이후, 깊이영상 Dl와 Dl 크기로 다운샘플링된 색상영상 Il의 정보를 이용하여 공통된 경계영역 Ω를 추정한다.
제안하는 알고리즘은 기존의 업샘플링 방법들에서 나타나는 색상영상 가중치로 인한 왜곡 문제와 깊이 경계가 흐려지는 문제들을 개선한다. 색상영상 가중치로 인해 나타나는 왜곡은 경계영역을 효율적으로 선택하고 제한적으로 가중치를 계산하는 알고리즘을 구현하여 개선하고 경계선이 흐려지는 문제는 색공간 정보들과 가중치를 이용한 새로운 최소비용 알고리즘을 제한하여 성능을 향상시킨다.
대상 데이터
제안하는 알고리즘의 성능 비교를 위해 원본 깊이 영상이 존재하는 테스트 영상[9]을 이용하여 실험하였다. 알고리즘의 우수성을 확인하기 위해 양선형 보간법(BI)[2]과 결합형 양방향 업샘플러(JBU)[3], 결합형 삼방향 업샘플러(JTU)[4], Kim[6]의 알고리즘과 비교하였다.
이론/모형
그리고 깊이영상 Dl의 윤곽선 검출을 실행한다. 각 영상에서 윤곽선을 검출하기 위해 캐니 윤곽선 검출기[8]를 사용하였다. 이 때 경계영역에 포함되는 화소는 255로 경계영역에 포함되지 않는 화소는 0으로 저장한다.
먼저 고해상도 색상영상 Ih를 깊이영상과 같은 크기의 해상도로 다운샘플링한다. 그 후 저해상도 색상영상 Il의 RGB 색상영역에 대해 k-means 알고리즘[7]을 이용하여 색상 분할을 수행한 후 윤곽선 검출을 실행한다. 또한 Il영상을 HSV 색공간으로 변환하여 색조(Hue) 정보를 이용한 윤곽선 검출을 실행한다.
성능/효과
업샘플링 후 객체 경계를 뚜렷하게 유지하였기 대부분의 실험영상에 대하여 높은 PSNR 성능을 보였다. 공통경계 영역을 추정하여 가중치 계산을 수행할 화소 위치를 효율적으로 선택함으로서 정확한 객체 경계를 유지하였기 때문에 좋은 성능을 보였다.
본 논문은 깊이정보와 색상정보의 가중치를 이용하여 깊이영상을 확대하는 업샘플링 방법을 제안하였다. 깊이영상의 각 화소 위치에 대해서 경계영역을 추정하고 깊이영상과 색상정보를 이용한 가중치 기반의 경계 결정 최소 비용 함수를 정의하여 업샘플링 결과 경계영역이 흐려지는 현상을 개선하였다. 특히 분할된 RGB 색상영역, HSV 색조영역, 깊이영상에 공통적으로 존재하는 경계영역을 효과적으로 추정하여 가중치 계산을 수행할 화소 위치를 결정했기 때문에 색상정보로 인해 발생하는 경계 왜곡을 줄일 수 있었다.
실험결과 제안한 알고리즘은 복잡한 색상패턴을 가지는 색상영상과 짝을 이루는 깊이영상에 대해 가시적으로 좋은 성능을 보였다. 또한 기존의 알고리즘들에 비해 높은 PSNR 결과를 보였다.
[표 1]은 16배로 업샘플링한 PSNR 결과를 보여준다. 시뮬레이션 결과 제안한 알고리즘이 JBU[1], JTU[2], BI[3], Kim[6] 에 비해 각각 평균 8.23dB, 6.23dB, 3.25dB, 2.42dB 정도 성능이 높았다. 업샘플링 후 객체 경계를 뚜렷하게 유지하였기 대부분의 실험영상에 대하여 높은 PSNR 성능을 보였다.
특히 분할된 RGB 색상영역, HSV 색조영역, 깊이영상에 공통적으로 존재하는 경계영역을 효과적으로 추정하여 가중치 계산을 수행할 화소 위치를 결정했기 때문에 색상정보로 인해 발생하는 경계 왜곡을 줄일 수 있었다. 실험결과 제안한 알고리즘은 복잡한 색상패턴을 가지는 색상영상과 짝을 이루는 깊이영상에 대해 가시적으로 좋은 성능을 보였다. 또한 기존의 알고리즘들에 비해 높은 PSNR 결과를 보였다.
[그림 7]과 [그림 8]에 사용된 Poster 영상과 Sawtooth 영상은 깊이영상이 단조로운 것에 비해 색상영역의 패턴이 복잡한 특성이 있다. 이런 특성의 영상들에서 기존 알고리즘들은 깊이영역에는 존재하지 않는 색상경계를 참조하기 때문에 경계가 흐려지는 단점이 있지만 제안하는 알고리즘은 비교적 선명한 경계 구분을 하였음을 확인할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
깊이영상의 해상도를 색상영상과 동일하게 맞추기 위해 사용하는 방법은 무엇인가?
하지만 깊이 센서를 이용하여 깊이 정보를 직접 획득하는 경우 깊이영상의 출력해상도의 제한으로 인해 색상영상에 비해 상대적으로 낮은 해상도의 깊이영상을 얻는다. 따라서 깊이영상의 해상도를 색상영상과 동일하게 맞추는 과정이 필요한데, 보통 양선형 보간법(Bilinear interpolation)[2]을 이용하여 깊이영상을 색상영상과 동일한 해상도로 보간한다. 하지만 이 방법은 깊이영상을 업샘플링하는 과정에서 객체의 경계가 흐려지는 문제점이 나타나고, 이 현상은 3차원 영상을 생성할 때 오류로 이어진다.
양선형 보간법의 문제점은 무엇인가?
따라서 깊이영상의 해상도를 색상영상과 동일하게 맞추는 과정이 필요한데, 보통 양선형 보간법(Bilinear interpolation)[2]을 이용하여 깊이영상을 색상영상과 동일한 해상도로 보간한다. 하지만 이 방법은 깊이영상을 업샘플링하는 과정에서 객체의 경계가 흐려지는 문제점이 나타나고, 이 현상은 3차원 영상을 생성할 때 오류로 이어진다. 따라서 생생한 3차원 영상 획득을 위해 경계정보를 보존하는 깊이영상 업샘플링 알고리즘에 대한 연구가 진행되고 있다.
결합형 양방향 필터를 이용하여 기존의 경계영역을 보존하기 위한 업샘플링 알고리즘의 단점은 무엇인가?
이 방법은 고해상도 색상영상의 객체간 경계정보를 깊이영상에 반영하여 업샘플링을 수행하기 때문에 경계가 흐려지는 것을 방지할 수 있는 장점이 있다. 하지만 객체경계가 아닌 영역에서도 색상 패턴의 영향을 과도하게 받아 왜곡을 일으킬 수 있다는 단점이 있다. 이러한 결합형 양방향 업샘플링의 단점을 보완하기 위해 Li[4]는 먼저 업샘플링을 수행한 깊이영상의 화소값을 가중치로 추가하는 알고리즘을 제안하였다.
참고문헌 (9)
S. B. Gokturk, H. Yalcin, and C. Bamji, "A Time-of-Flight Depth Sensor, System Description, Issues and Solutions," Proc. IEEE Conf. Computer Vision Pattern Recognition Workshops, p.35, 2004.
R. C. Gonzalez and R. E. Woods, Digital Image Processing, Prentice Hall, 2002.
J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, "Joint Bilateral Upsampling," ACM Trans. on Graphics, Vol.26, No.3, pp.1-6, 2010.
L. Yagguang, L. Zhang, and Y. Zhang, "Depth Map Super-resolution Via Iterative Joint-Trilateral-Upsampling," Proc. IEEE Conf. Visual Communications and Image Processing, pp.386-389, 2014.
Q. Yang, R. Yang, and James Davis, "Spatial-Depth Super Resolution for Rang Images," Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp.1-8, 2007.
S. Y. Kim and Y. Ho, "Fast Edge-preserving Depth Image Upsampler," IEEE Trans. Consumer Electronics, Vol.21, No.32, pp.1176-1190, 2012.
J. T. Tou and R. C. Gonazalez, Pattern Recognition Principles, Addison-Wesley Publishing Company, 1974.
J. F. Canny, "A Computational Approach to Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.8, No.6, pp.679-698, 1986.
D. Scharstein and R. Szeliski, "A Taxonomy and Evaluation of Dense Two-Frame stereo Correspondence Algorithms," Proc. IEEE Conf. Stereo and Multi-Baseline Vision. Workshops, Vol.7, No.1, pp.7-42, 2002.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.