본 논문에서는 3D콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.
본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.
In this paper, we propose a noise reduction and hole removal algorithm in order to improve the quality of depth images when they are used for creating 3D contents. In the proposed algorithm, the depth image and the corresponding color image are both used. First, an intensity image is generated by co...
In this paper, we propose a noise reduction and hole removal algorithm in order to improve the quality of depth images when they are used for creating 3D contents. In the proposed algorithm, the depth image and the corresponding color image are both used. First, an intensity image is generated by converting the RGB color space into the HSI color space. By estimating the difference of distance and depth between reference and neighbor pixels from the depth image and difference of intensity values from the color image, they are used to remove noise in the proposed algorithm. Then, the proposed hole filling method fills the detected holes with the difference of euclidean distance and intensity values between reference and neighbor pixels from the color image. Finally, we apply a parallel structure of GPGPU to the proposed algorithm to speed-up its processing time for real-time applications. The experimental results show that the proposed algorithm performs better than other conventional algorithms. Especially, the proposed algorithm is more effective in reducing edge blurring effect and removing noise and holes.
In this paper, we propose a noise reduction and hole removal algorithm in order to improve the quality of depth images when they are used for creating 3D contents. In the proposed algorithm, the depth image and the corresponding color image are both used. First, an intensity image is generated by converting the RGB color space into the HSI color space. By estimating the difference of distance and depth between reference and neighbor pixels from the depth image and difference of intensity values from the color image, they are used to remove noise in the proposed algorithm. Then, the proposed hole filling method fills the detected holes with the difference of euclidean distance and intensity values between reference and neighbor pixels from the color image. Finally, we apply a parallel structure of GPGPU to the proposed algorithm to speed-up its processing time for real-time applications. The experimental results show that the proposed algorithm performs better than other conventional algorithms. Especially, the proposed algorithm is more effective in reducing edge blurring effect and removing noise and holes.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
2장에서는 bilateral filter와 joint bilateral filter를 이용하여 깊이 영상의 품질을 향상시키는 방법을 소개하고, 3장에서는 본 논문에서 제안하는 깊이영상의 잡음제거 기법과 홀 채움 기법을 설명한다. 또한 GPGPU를 이용하여 제안한 기법을 병렬화하여 속도를 개선하는 방법도 소개한다. 4장에서는 제안한 기법의 성능 평가를 위한 실험 결과를 소개하고 5장에서 결론을 맺는다.
제안한 잡음 제거, 홀 채움 기법을 통해 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이고 잡음과 홀을 효과적으로 제거하도록 하였다. 또한 실시간 환경에 적용하기 위해 제안하는 기법을 GPU로 병렬화 하여 속도 향상을 하고자 하였다.
본 논문에서는 고품질의 깊이 영상을 얻기 위하여 새로운 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 사용한다.
본 논문에서는 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안하였다. 제안한 잡음 제거, 홀 채움 기법을 통해 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이고 잡음과 홀을 효과적으로 제거하도록 하였다.
제안 방법
입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다.
Wasza는 Kinect에서 얻은 depth 데이터에 존재하는 temporal consistency를 제거 하는 bilateral filter와 경계 잡음을 제거하는 nonapproximative guided filter 알고리즘을 GPU로 구현하였다. 또한 2D-3D converting, mesh generation과 최종적인 랜더링 과정을 GPU로 구현하였다. 전체적인 시스템을 구성하는 알고리즘 중 데이터 입출력 부분을 제외한 대부분의 알고리즘을 GPU로 구현하여 CPU 대비 약 10배의 속도향상을 보였다[11].
마지막으로 실시간 환경에 적용하기 위해 제안하는 기법을 GPU로 병렬화 하여 속도를 향상하고자 하였다. 제안한 기법을 통해 깊이 영상의 잡음을 제거하고 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 제거하였다.
제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 사용한다. 우선 깊이 영상의 잡음을 제거하기 위하여 컬러 영상에서 기준 화소와 주변 화소의 밝기 차이 값과 화소간 거리 차이 값의 절대 값에 각각 가우시안 함수를 적용하고 깊이 영상에서도 마찬가지로 기준 화소와 주변 화소의 깊이 값의 절대 값 차이를 구한 후 가우시안 함수를 적용한다. 앞서 계산한 세 가지의 값을 곱한 후 가장 큰 값을 찾아 해당하는 주변 화소중 하나의 깊이 값을 기준 화소에 해당하는 화소의 깊이 값으로 정한다.
그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다.
우선 컬러 영상과 깊이 영상을 입력으로 받는다. 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다.
그림 5는 본 논문에서 제안하는 기법을 GPU로 구현한 순서도이다. 제안하는 기법 중 잡음제거와 홀 채움 기법 부분을 병렬화하여 연산 시간을 감소시킨다. 우선 컬러 영상과 깊이 영상을 입력받은 후 컬러 영상을 밝기 영상으로 변환 시킨다.
본 논문에서는 고품질의 깊이 영상을 얻기 위하여 새로운 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 사용한다. 우선 깊이 영상의 잡음을 제거하기 위하여 컬러 영상에서 기준 화소와 주변 화소의 밝기 차이 값과 화소간 거리 차이 값의 절대 값에 각각 가우시안 함수를 적용하고 깊이 영상에서도 마찬가지로 기준 화소와 주변 화소의 깊이 값의 절대 값 차이를 구한 후 가우시안 함수를 적용한다.
제안하는 깊이 영상의 화질 개선 기법의 성능을 기존 기법들의 성능과 비교하기 위하여 다양한 실험을 수행 하였다. 먼저 표 1은 실험에 사용된 PC의 사양을 보여준다.
또한 깊이 영상에 해당하는 컬러 영상에서도 마찬가지로 동일한 객체 내에서 밝기 값이 유사한 경우가 많다. 제안하는 잡음 제거 기법에서는 이러한 특성들을 이용하기 위하여 컬러 영상과 깊이 영상을 모두 이용한다. 먼저 제안하는 기법에서 사용될 기준 화소(p)와 주변 화소(q)의 정의는 그림 3과 같다.
마지막으로 실시간 환경에 적용하기 위해 제안하는 기법을 GPU로 병렬화 하여 속도를 향상하고자 하였다. 제안한 기법을 통해 깊이 영상의 잡음을 제거하고 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 제거하였다. 실험을 통하여 제안하는 기법의 우수성을 확인하였다.
본 논문에서는 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안하였다. 제안한 잡음 제거, 홀 채움 기법을 통해 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이고 잡음과 홀을 효과적으로 제거하도록 하였다. 또한 실시간 환경에 적용하기 위해 제안하는 기법을 GPU로 병렬화 하여 속도 향상을 하고자 하였다.
대상 데이터
먼저 표 1은 실험에 사용된 PC의 사양을 보여준다. 실험에는 middlebury의 teddy(1800*1500) 영상을 사용하였다.
이론/모형
이후 변환시킨 컬러 영상과 깊이 영상을 GPU로 연산하기 위해 GPU의 device memory로 복사한다. 복사한 데이터를 바탕으로 잡음 제거와 홀 채움 기법을 적용한다. 이때 하나의 thread에서 식(3), (4)와 (5)을 수행하도록 구현하여 다수의 thread에서 한꺼번에 많은 화소를 처리하게 한다.
성능/효과
47ms의 수행시간을 보였다. GPU 기반에서 제안한 기법을 병렬화 하여 고속화한 결과는12.47ms가 걸리는 것을 확인할 수 있다. 이것은 약80fps의 속도로서 실시간 환경에 충분히 적용 가능함을 확인할 수 있다.
22ms의 수행시간을 보였다. 같은 영상에 CPU 기반의 제안한 기법을 적용하였을 때에는 477.47ms의 수행시간을 보였다. GPU 기반에서 제안한 기법을 병렬화 하여 고속화한 결과는12.
실험 결과를 통해 제안하는 잡음 제거 기법과 홀 채움 기법이 기존의 기법을 적용한 결과보다 우수한 것을 확인 할 수 있었다. 또한 제안한 기법을 GPU 기반으로 병렬화 하여 수행하였을 때 기존의 joint bilateral filter 와 비교하여 수행시간이 90.66배 단축되는 결과를 얻는것을 확인할 수 있었으며 동일 기법을 CPU로 수행한 시간과 비교하여 38.30배 단축 되는 것을 확인할 수 있었다. 향후 제안한 기법을 적용하여 3D 콘텐츠 생성에 필요한 고품질의 깊이지도를 실시간으로 생성할 수 있을 것으로 기대한다.
실험 결과를 통해 제안하는 잡음 제거 기법과 홀 채움 기법이 기존의 기법을 적용한 결과보다 우수한 것을 확인 할 수 있었다. 또한 제안한 기법을 GPU 기반으로 병렬화 하여 수행하였을 때 기존의 joint bilateral filter 와 비교하여 수행시간이 90.
표 2는 Joint bilateral filter와 제안한 기법의 수행시간을 비교한 결과이다. 표 2에서 CPU기반의 Joint bilateral filter는 해상도에 따라 다르지만 1800*1500 해상도인 teddy 영상의 경우 1130.22ms의 수행시간을 보였다. 같은 영상에 CPU 기반의 제안한 기법을 적용하였을 때에는 477.
하지만 제안한 기법의 경우 경계부분의 흐려짐 현상이 없고 잡음과 홀이 효과적으로 제거된 결과를 얻을 수 있었다. 그림 7은 그림 6을 확대한 영상이다.
그림 7은 그림 6을 확대한 영상이다. 확대한영상에서도 제안한 기법을 적용한 결과가 Bilateral filter, Joint bilateral filter를 적용한 결과와 비교하여 경계부분의 흐려짐 현상이 없이 잡음과 홀을 효과적으로 제거한 것을 확인할 수 있었다.
후속연구
30배 단축 되는 것을 확인할 수 있었다. 향후 제안한 기법을 적용하여 3D 콘텐츠 생성에 필요한 고품질의 깊이지도를 실시간으로 생성할 수 있을 것으로 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
bilateral filter란?
Tomasi 및 Manduchi에 의해 제안된 bilateral filter (BF)는 영상의 경계 구조를 보존하면서 잡음을 평활화하는 비선형 필터이다[5]. BF는 두 개의 가우시안 필터로 구성된다.
깊이 영상의 특성은?
컬러 영상과는 다르게 깊이 영상은 물체의 형태와 깊이 정보만을 나타내며 평활한 영역이 대부분이라는 특성을 가지고 있다. 따라서 깊이 영상은 물체와 물체간의 경계 영역과 물체의 평활한 영역으로 구분되며 이 영역을 얼마나 잘 보존하느냐에 따라 깊이 영상의 품질이 결정된다.
bilateral filter는 무엇으로 구성되는가?
Tomasi 및 Manduchi에 의해 제안된 bilateral filter (BF)는 영상의 경계 구조를 보존하면서 잡음을 평활화하는 비선형 필터이다[5]. BF는 두 개의 가우시안 필터로 구성된다. 두 개의 가우시안 필터는 각각 도메인 필터(domain filter) 및 레인지 필터(range filter)로 동작하며 식 (1)로 정의된다.
참고문헌 (12)
J. Choi, D. Min, B. Ham and K. Sohn, "Spatial and temporal up-conversion technique for depth video," IEEE International Conference on Image Processing(ICIP), Cairo, pp. 3525-3528, Nov. 2009.
O. P. Gangwal and R. P. Benetty, "Depth map post-processing for 3D-TV," Digest of Technical Papers International Conference on Consumer Electronics(ICCE), Las Vegas, NV, pp. 1-2, Jan. 2009.
Y. Li and, L. Sun, "A novel up-sampling scheme for depth map compression in 3DTV system," Picture Coding Symposium(PCS), Nagoya, pp. 186-189, Dec. 2010.
J. Park, H. Kim, Y. Tai, M. Brown, and I. Kweon, "High quality depth map up-sampling for 3D-TOF cameras," IEEE International Conference on Computer Vision (ICCV), Barcelona, pp. 1623-1630, Nov. 2011.
J. Y. Han, Y. H. Seo, J. Yoo, "Depth map enhancement using advanced joint bilateral filter based on GPGPU," KICS Conference, Youngpyong, pp. 157-158, Jan. 2013.
C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," IEEE International Conference on Computer Vision, Bombay, pp.839-846, Jan. 1998.
Sylvain Paris and Fredo Durand, "A fast approximation of the bilateral filter using a signal processing approach," Springer International Journal of Computer Vision, vol.81, no.1, pp.24-52, Jan. 2009
J. Kopf, M. Cohen, D. Kischinski and M. Uyttendaele, "Joint bilateral up-sampling," ACM Trans. on Graphics, vol.26, no.3, article 96, pp.2:1-2:9, July 2007.
S. Mattoccia, M. Viti and F. Ries, "Near real-time Fast Bilateral Stereo on the GPU," Computer Vision and Pattern Recognition Workshops(CVPRW), Colorado Springs, CO pp.136-143, June 2011.
L. Wang, R. Yang, M. Gong and, M. Liao, "Real-time stereo using approximated joint bilateral filtering and dynamic programming," Journal of Real-Time Image Processing, pp.1-15, Sept. 2012.
J. Wasza, S. Bauer and J. Hornegger, "Real-time preprocessing for dense 3-D range imaging on the GPU: Defect interpolation, bilateral temporal averaging and guided filtering," Computer Vision Workshops(ICCV Workshops), Barcelona, pp.1221-1227, Nov. 2011.
J. Wasza, S. Bauer and J. Hornegger, "High Performance GPU-Based Preprocessing for Time-of-Flight Imaging in Medical Applications," Bildverarbeitung Fur Die Medizin 2011, Lubeck, pp.324-328, Mar. 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.