다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기
한국통신학회논문지. The Journal of Korea Information and Communications Society. 통신이론 및 시스템, v.38C no.5, 2013년, pp.409 - 419
AI-Helper
Kinect released by Microsoft in November 2010 is a motion sensing camera in xbox360 and gives depth and color images. However, Kinect camera also generates holes and noise around object boundaries in the obtained images because it uses infrared pattern. Also, boundary flickering phenomenon occurs. T...
| 핵심어 | 질문 | 논문에서 추출한 답변 |
|---|---|---|
| 인페인팅 방식이란? | 기존의 방법으로는 인페인팅(inpainting) 기법을 이용한 홀 채움 방법과 결합형 양방향 필터(joint bilateral filter)를 이용하여 참조 영상의 윤곽선대로 홀을 채우는 방법이 대표적이다[8]. 인페인팅 방식은 실사 이미지에서 제거된 특정 영역을 주변 배경과 어울리게 채워 넣는 기술로 깊이 영상의 홀 채움에 적용하여 사용될 수 있다[9,10]. 하지만 인페인팅 기법은 배경 영역과 객체 영역을 구분하지 못하기 때문에 홀 영역을 흐릿하게 채워 기존 배경과의 연속성을 떨어뜨린다. | |
| 다시점 무안경 디스플레이의 장점은? | 이에 대한 대안으로 최근 주목 받고 있는 기술이 다시점 무안경 디스플레이 기술이다. 다시점 무안경 디스플레이는 스테레오 디스플레이보다 시점의 개수가 증가하기 때문에 안경을 착용하지 않고 관찰자가 시점을 바꾸는 경우에도 시점에 맞는 영상이 재생되어 보다 자연스럽고 실감나는 3차원 영상의 감상이 가능하다[2]. | |
| 키넥트 카메라의 단점은? | 키넥트 카메라는 마이크로소프트사에서 2010년 11월에 출시한 xbox360의 움직임 감지 카메라로 깊이 영상과 색상 영상을 획득할 수 있다. 하지만 적외선 패턴을 이용한 깊이 영상의 획득 방법의 한계로 인해 객체의 경계 주변으로 홀(hole) 및 잡음이 생기고 영상으로 재생 시 경계 주변에서 흔들림(flickering) 현상이 발생한다. 본 논문에서는 이러한 흔들림 현상을 보정하여 화질이 좋은 가상 시점 영상을 실시간으로 생성하는 기법을 제안한다. |
Retrevo Corporation, Could low interest in 3DTV hurt the TV business?, Retrieved Nov., 2011, from http://www.retrevo.com/content/node/1915.
실제 시장 조사기관 Retrevo가 발표한 자료에 따르면, 2012년 HDTV 구매 계획을 가진 소비자 가운데 55%가 3D 기능의 필요성에 대해 의문을 제기했으며, 그 이유로는 안경을 써야 하는 번거로움과 콘텐츠의 부족으로 나타났다[1].
G. M. Um, G. H. Cheong, W. S. Cheong, and N. H. Hur, "Technical development and standardization trends of multi-view 3D and free-viewpoint video," IEEK Mag., vol. 38, no. 2, pp. 18-23, Feb. 2011.
다시점 무안경 디스플레이는 스테레오 디스플레이보다 시점의 개수가 증가하기 때문에 안경을 착용하지 않고 관찰자가 시점을 바꾸는 경우에도 시점에 맞는 영상이 재생되어 보다 자연스럽고 실감나는 3차원 영상의 감상이 가능하다[2].
T. J. Kim and J. S. Yoo, "Hierarchical stereo matching with color information," J. KICS, vol. 34, no. 3, pp. 279-287, Mar. 2009.
깊이 영상을 획득하는 방법에는 스테레오 정합을 이용하는 방법과 TOF 카메라 등 깊이 카메라를 이용하는 방법이 있다[3].
경계 잡음(boundary noise)은 그림 8(a)와 같이 기준 시점에서 색상 영상의 경계와 그에 대응하는 깊이 영상의 경계가 일치하지 않기 때문에 발생하는 잡음이다[3].
T. Leyvand, C. Meekhof, Y. C. Wei, J. Sun, and B. Guo, "Kinect identity: technology and experience," Computer (IEEE Comput. Soc.), vol. 44, no. 4, pp. 94-96, Apr. 2011.
최근에 키넥트(Kinect) 카메라와 같이 가격 대비 높은 성능을 보여주는 카메라가 시중에 출시되면서 일반인들도 손쉽게 깊이 영상을 획득할 수 있는 카메라를 접할 수 있게 되었다[4].
Y. S. Park, S. M. Yun, and C. S. Won, "Hole filling for kinect depth image according to the causes of the holes," in Proc. Conf. Korean Soc. Broadcast Eng. (KOSBE), pp. 75-80, Jeju Island, Korea, July 2012.
하지만 키넥트 카메라로 획득된 깊이 영상은 카메라 내외의 문제점들로 인해 홀이 생기고 각각의 깊이 영상을 동영상으로 연속 재생할 경우 경계 주변의 흔들림(flickering) 현상이 발생하기 때문에 현재 이를 보정하는 연구가 진행되고 있다[5].
또한 깊이 정보의 불연속점과 적외선 송출부가 수직일 경우에는 객체 경계 주변에 홀이 발생한다[5].
C. J. Park, J. H. Ko, and E. S. Kim, "A new intermediate view reconstruction scheme based-on stereo image rectification algorithm," J. KICS, vol. 29, no. 5C, pp. 632-641, May. 2004.
M. S. Ko and J. S. Yoo, "Boundary noise removal and hole filling algorithm for virtual viewpoint image generation," J. KICS, vol. 37, no. 8, pp. 679-688, Aug. 2012.
타임라인에서 보기
가려짐 영역을 채우는 대표적인 기법에는 인페인팅 기법, 선형보간법, 나선형 가중 평균 기법 등이 있다[7,9,10].
3D 워핑은 카메라의 기하학적 구조를 기반으로 깊이 정보와 카메라의 내, 외부 파라미터를 이용하여 영상의 화소들에 대한 실세계 좌표(세계 좌표계; world coordinate)를 산출하고 다시 가상 시점의 영상으로 재투영하는 기법이다[7].
기준 시점 영상과 깊이 영상에 3D 워핑(3D warping) 기법을 적용하여 가상 시점 영상을 생성하면 그림 5(c)와 같이 기준 시점 영상에서는 존재하지 않는 가려짐 영역(occlusion region)이 홀(hole)의 형태로 나타나게 된다[7].
L. Zhao and H. Wang, "Image denoising using trivariate shrinkage filter in the wavelet domain and joint bilateral filter in the spatial Domain," IEEE Trans. Image Process., vol. 18, no. 10, pp. 2364-2369, Oct. 2009.
A. Telea, "An image inpainting technique based on the fast marching method," J. Graphics Tools, vol. 9, no. 1, pp. 25-36, Dec. 2004.
인페인팅 방식은 실사 이미지에서 제거된 특정 영역을 주변 배경과 어울리게 채워 넣는 기술로 깊이 영상의 홀 채움에 적용하여 사용될 수 있다[9,10].
가려짐 영역을 채우는 대표적인 기법에는 인페인팅 기법, 선형보간법, 나선형 가중 평균 기법 등이 있다[7,9,10].
A. Criminisi, P. Perez, and K. Toyama, "Region filling and object removal by exemplar-based image in-painting," IEEE Trans. Image Process., vol. 13, no. 9, pp. 1200-1212, Sept. 2004.
G. C. Lee, Y. H. Seo, and J. S. Yoo, "GPGPU-based multiview synthesis using kinect depth image," in Proc. Conf. KICS, pp. 152-154, Yongpyong, Korea, Jan. 2012.
이를 보정해 주기 위해 키넥트 카메라에서 획득된 깊이 영상에서 홀 영역과 홀의 주변 영역을 변환한 값으로 대체해 줌으로써 객체의 움직임을 보존하면서 잔상을 줄일 수 있다[11].
Y. Mori, N. Fukushima, T. Yendoa, T. Fujii, and M. Tanimotoa, "View generation with 3D warping using depth information for FTV," Signal Processing : Image Communication (ELSEVIER), vol. 24, no. 1-2, pp. 65-72, Jan. 2009.
W. J. Tam, G. Alain, L. Zhang, T. Martin, and R. Renaud, "Smoothing depth maps for improved stereoscopic image quality," in Proc. SPIE Conf. Three-Dimensional TV, Video, Display III, vol. 5599, pp. 162-172, Philadelphia, U.S.A., Oct. 2004.
첫째는 워핑을 적용하기 전에 깊이 영상에 저역 통과 필터(low pass filter)를 적용하여 평활화(smoothing)함으로써 가려짐 영역을 줄이는 방법이고 둘째는 워핑 기법을 적용한 후에 나타나는 가려짐 영역을 주변 색상 정보를 이용해 채우는 방법이다[15].
T. Y. Kim, Y. G. Jeon, and J. C. Jeong, "Adaptive linear interpolation using the new distance weight and local patterns," J. KICS, vol. 31, no. 12C, pp. 1184-1193, Dec. 2006.
제안하는 기법의 성능을 기존의 선형 보간법(linear interpolation)[16], 인페인팅(in-painting) 기법[9, 10]과 비교하였다.
G. C. Lee and J. S. Yoo, "Kinect depth map enhancement using boundary flickering compensation," in Proc. Conf. Korean Soc. Broadcast Eng. (KOSBE), pp. 25-28, Seoul, Korea, Nov. 2012.
T. J. Kim, E. Y. Chang, N. H. Hur, J. W. Kim, and J. S. Yoo, "Virtual viewpoint image synthesis algorithm using multi-view geometry," J. KICS, vol. 34, no. 12, pp. 1154-1166, Dec. 2009.
J. H. Park and C. G. Song, "Effective shadow removal from aerial image of golf course to extract components," J. Korean Inst. of Inform. Sci. Eng. (KIISE), vol. 39, no. 7, pp. 577-582, July 2012
N. E. Yang, Y. G. Kim, and R. H. Hong, "Depth hole filling using the depth distribution of neighboring regions of depth holes in the kinect sensor," in Proc. IEEE Int. Conf. Signal Process., Commun. Comput. (ICSPCC), pp. 658-661, Hong Kong, China, Aug. 2012
S.-B. Lee and Y.-S. Ho, "Real-time stereo view generation using kinect depth camera," in Proc. Asia-Pacific Signal Inform. Process. Assoc. Annu. Summit Conf. (APSIPA ASC) 2011, pp. 1-4, Xi'an, China, Oct. 2011.
*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.
Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문
Copyright KISTI. All Rights Reserved.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.