$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

초록
AI-Helper 아이콘AI-Helper

3D 영상의 획득을 위해 이용하는 깊이 지도는 영상의 깊이 정보를 가지고 있다. 그러나 일반적으로 고해상도이며 잡음이 제거된 고화질의 깊이 지도를 카메라로부터 직접 획득하는 것은 어렵다. 그래서 저해상도의 깊이 지도를 획득하고 업샘플링 및 전/후 영상처리를 통해 높은 품질의 고해상도 깊이 지도를 획득하는 기법들이 연구되고 있다. 하지만 기존의 연구는 영상의 질에 큰 변수로 작용하는 에지 부분의 효과적 업샘플링이 미흡하다. 그래서 본 논문은 에지 부분을 차별적으로 고려하는 인지적인 특성을 반영한 영상품질향상 연구에 초점을 맞춰 결합 양방향 필터의 가중치를 적응적으로 조절함으로써 깊이 지도와 합성 영상을 개선한 고해상도의 깊이 지도를 얻는 업샘플링 방법을 제안하였다. 제안 방식을 기존의 방식과 비교하였을 때 PSNR 측면과 주관적 품질에서 이득이 있음을 보였다.

Abstract AI-Helper 아이콘AI-Helper

A depth map is an image which contains 3D distance information. Generally, it is difficult to acquire a high resolution (HD), noise-removed, good quality depth map directly from the camera. Therefore, many researches have been focused on acquisition of the high resolution and the good quality depth ...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 또한, 깊이 지도의 업샘플링 후 이를 이용한 합성 영상에 나타나는 오차는 깊이 지도와 컬러 프레임 간에 동일 객체가 일치되어 합성되지 못하는 이유로 생겨난다. 그래서 본 연구에서는 보간한 깊이 지도에 동적 객체 에지 가이드 영상인 가중치 지도(Weight map), 에지 가중치(Edge weight value), 개선 영역 필터(Domain filter)로 기존 결합 양방향 필터를 변경한 가중치 결합 양방향 필터를 적용하여 기존 업샘플링 방법들의 단점인 업샘플링을 수행할 때 에지가 원래 화소 분포 특성에 가깝게 잘 보존되지 않는 것과 합성 후 깊이 지도와 컬러 프레임의 경계 불일치 때문에 일어나는 경계 잡음, 계단형 잡음을 개선하고자 한다. 본 연구에서 제안하는 방법은 반복적이지 않은 한 번의 필터링으로 수행된다.
  • 본 연구는 고해상도, 높은 품질의 깊이 지도와 합성 영상 획득을 위해 결합 양방향 필터를 개선해 잡음 제거와 함께 동적 객체의 에지 화소 값을 보존하는 업샘플링 방법을 제안하고자 저해상도의 깊이 지도에 상응하는 고해상도의 컬러 프레임을 이용해 동적 객체의 에지를 검출하여 획득한 가중치 지도를 깊이 지도 업샘플링 시 동적 객체 에지 보존을 위한 가이드 영상으로 참조, 깊이 지도 내에서 동적 객체의 에지와 아닌 부분을 구별하여 차별적으로 가중치를 적용하였으며 경계 잡음과 계단형 잡음을 개선함으로써 합성 영상의 품질을 향상시키고자 하였다. 그 결과 기존 방법들을 적용한 깊이 지도의 평균 PSNR이 Bilinear는 38.
  • 2에서 설명할 에지 가중치를 적용한다. 본 연구에서 깊이 지도는 품질 면에서 에지가 매우 중요하므로 잡음제거를 위한 평활화 시 다른 부분에 비해 차별적으로 가중치를 주는데 특히 사람이 민감한 동적 객체 에지를 원래 깊이 지도의 화소 분포 특성에 가깝게 보존하기 위해 가중치 지도를 참조하는 것이다. 가중치 지도를 참조해 에지 가중치를 동적 객체의 에지 부분에 적용하므로 가중치 지도는 에지 가이드 영상이라 할 수 있는데 이는 기존 가이드 필터에 해당하는 결합 양방향 필터가 가이드 영상인 고해상도의 컬러 프레임을 참조하듯이 저해상도 깊이 지도에 상응하는 컬러 프레임으로 획득한 에지 가이드 영상을 참조하여 깊이 지도의 동적 객체 에지 부분의 가중치를 계산함으로써 동적 객체 에지를 보존하는 업샘플링의 과정이기 때문이다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
스테레오스코픽이 이제야 활발히 활용되는 이유는 무엇인가? 사람은 양안시차에 의해 눈앞의 3차원 공간에 대한 입체감을 인식하는데 이러한 양안시차의 원리를 기반으로 3D 영상을 획득하여 이용자에게 영상의 입체감을 느낄 수 있도록 하는 방법이 스테레오스코픽(stereoscopic)이다. 최초로 고안된 지 오랜 시간이 흘렀지만 이제야 활발히 활용되는 이유는 첫 번째, 이용자를 만족하게 할 3D 콘텐츠가 양적으로 부족하였고 두 번째 어지러움, 눈의 피로 현상 등 시각적 문제의 발생으로 인한 장시간 시청의 어려움, 세 번째 이용자의 기대에 미치지 못하는 낮은 해상도 문제를 들 수 있다. 그러나 이러한 문제들은 디스플레이 하드웨어와 소프트웨어의 발전, 비디오의 저장 및 전송 기술의 진보, UN 산하 전기통신에 관한 국제 표준화 기구 ITU-T(International Telecommunication Union-Telecommunication Standardization Sector, 국제 전기통신 연합-전기통신 표준화 부분)와 MPEG 계열 ISO/IEC의 최신 비디오 압축 표준 작업과 맞물려 데이터의 고해상도화, 고속전송, 고압축률의 부호화 기술, 높은 사양의 기기가 대중화되는 등의 여러 요인으로 인해 다양한 3D 콘텐츠를 실시간으로 제공할 수 있는 발판이 마련됨으로써 해결되고 있다.
스테레오스코픽(stereoscopic)은 무엇인가? 3D 영상의 원리는 사람의 좌우 눈에 투영되는 객체의 시각차인 양안시차의 원리와 같다. 사람은 양안시차에 의해 눈앞의 3차원 공간에 대한 입체감을 인식하는데 이러한 양안시차의 원리를 기반으로 3D 영상을 획득하여 이용자에게 영상의 입체감을 느낄 수 있도록 하는 방법이 스테레오스코픽(stereoscopic)이다. 최초로 고안된 지 오랜 시간이 흘렀지만 이제야 활발히 활용되는 이유는 첫 번째, 이용자를 만족하게 할 3D 콘텐츠가 양적으로 부족하였고 두 번째 어지러움, 눈의 피로 현상 등 시각적 문제의 발생으로 인한 장시간 시청의 어려움, 세 번째 이용자의 기대에 미치지 못하는 낮은 해상도 문제를 들 수 있다.
깊이 지도가 영상의 깊이정보를 가지고 있는 이유는 무엇인가? 3D 영상의 획득을 위해 이용하는 깊이 지도는 영상의 깊이 정보를 가지고 있다. 그러나 일반적으로 고해상도이며 잡음이 제거된 고화질의 깊이 지도를 카메라로부터 직접 획득하는 것은 어렵다.
질의응답 정보가 도움이 되었나요?

참고문헌 (18)

  1. W. S. Cheong, K. J. Yun, G. Bang, G. S. Lee, and N. H. Hur, "A trend of multiview 3DTV technologies and standardization," Etri. Electron. Telecommun. Trends, vol. 29, issue. 3, pp. 17- 26, Jun. 2014. 

  2. Y. S. Ho, "Improve quality of the depth-map upsampling technology," Broadcasting & Technol. Mag., vol. 215, pp. 158-163, Nov. 2013. 

  3. R. Cheng and K. Nahrstedt, "Empirical study of 3d video source coding for autostereoscopic displays," in Proc. ACM. Conf. Multimedia, pp. 573-576, Augsburg, Germany, Sept. 2007. 

  4. C. Fehn, "Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV," in Proc. SPIE. Conf. Stereoscopic Displays and Virtual Reality Systems XI, pp. 93-104, San Jose, CA, USA, May 2004. 

  5. K. Muller, P. Merkle, and T. Wiegand, "3-D video representation using depth maps," in Proc. IEEE., vol. 99, no. 4, pp. 643-656, Apr. 2011. 

  6. S. B. Lee and Y. S. Ho, "Real-time eye contact system using a kinect depth camera for realistic telepresence," J. KICS., vol. 37C, no. 4, pp. 277-282, May 2012. 

  7. J. H. Kim, J. W. Choi, and K. H. Son, "Depth map resolution and quality enhancement based on edge preserving interpolation," in Proc. KSBE Conf., pp. 8-10, Seoul, Korea, Nov. 2011. 

  8. J. W. Choi, D. B. Min, B. S. Ham, and K. H. Sohn, "Spatial and temporal up-conversion technique for depth video," in Proc. IEEE Conf. Image Processing, pp. 3525-3528, Cairo, Egypt, Nov. 2009. 

  9. X. Zhu, X. Song, and X. Chen, "Image guided depth map upsampling using anisotropic TV-L2," IEEE Signal Process. Lett., vol. 22, pp. 318-321, Mar. 2015. 

  10. C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," in Proc. IEEE Conf. Computer Vision, pp. 839-846, Bombay, India, Jan. 1998. 

  11. S. Paris, P. Kornprobst, J. Tumblin, and F. Durand, "Bilateral filtering : Theory and applications," Foundations and Trends in Computer Graphics and Vision, vol. 4, no. 1, 2008. 

  12. G. Petschnigg, R. Szeliski, M. Agrawala, M. Cohen, H. Hoppe, and K. Toyama, "Digital photography with flash and no-flash image pairs," ACM Trans. Graph, vol. 23, no. 3, pp. 664-672, Aug. 2004. 

  13. E. Eisemann and F. Durand, "Flash photography enhancement via intrinsic relighting," ACM Trans. Graph, vol. 23, no. 3, pp. 673-678, Aug. 2004. 

  14. J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, "Joint bilateral upsampling," ACM Trans. Graph, vol. 26, no. 3, Jul. 2007. 

  15. J. H. Kim, G. G. Jeon, and J. C. Jeong, "Joint-adaptive bilateral depth map upsampling," Elsevier, Signal Processing- Image Commun., vol. 29, no. 4, pp. 506-513, Apr. 2014. 

  16. T. W. Kim, J. H. Kim, M. W. Park, and J. T. Shin, "Hybrid down-sampling method of depth map based on moving objects," J. KICS., vol. 37A, no. 11, pp. 918-926, Nov. 2012. 

  17. M. S. Ko and J. S. Yoo, "Boundary noise removal and hole filling algorithm for virtual viewpoint image generation," J. KICS., vol. 37A, no. 8, pp. 679-688, Aug. 2012. 

  18. T. W. Bae and Y. T. Kim, "Small target detection method using bilateral filter based on surrounding statistical feature," J. Korea Multimedia Soc., vol. 16, No. 6, pp. 756-763, Jun. 2013. 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

유발과제정보 저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로