$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 다시점 영상 생성을 위한 DIBR 기반의 깊이 정확도 향상 방법
Enhancement Method of Depth Accuracy in DIBR-Based Multiview Image Generation 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.5 no.9, 2016년, pp.237 - 246  

김민영 ((주)유윈인포시스 기술연구소) ,  조용주 (상명대학교 미디어소프트웨어학과) ,  박경신 (단국대학교 응용컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

DIBR (Depth Image Based Rendering)은 동일 시점의 색상 영상과 깊이 영상을 참조해서 임의 개수의 중간 시점 영상을 생성하는 기법으로 무안경식 다시점 입체 디스플레이를 위한 콘텐츠 제작에 활용할 수 있다. 본 연구에서는 DIBR 기법을 사용해서 생성되는 다시점 중간 영상의 객관적 품질에 깊이 정확도가 미치는 영향에 대해 설명한다. 본 연구는 먼저 사람이 인지할 수 없는 범위에서 왜곡을 보장하기 위한 최소 깊이 양자화 계수를 도출한다. 그리고 장면 구성의 특성에 따라 같은 양자화 수준에서 깊이 정보의 정확도를 효과적으로 표현하기 위한 비균등 영역분할 양자화 방법을 선형 양자화와 비교 분석한 결과를 제시한다.

Abstract AI-Helper 아이콘AI-Helper

DIBR (Depth Image Based Rendering) is a multimedia technology that generates the virtual multi-view images using a color image and a depth image, and it is used for creating glasses-less 3-dimensional display contents. This research describes the effect of depth accuracy about the objective quality ...

Keyword

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 연구에서는 무안경식 3D 디스플레이를 위한 DIBR 기반 다시점 영상 생성에 최적화된 깊이 영상의 정확도 표현 방법에 대한 연구를 제안한다. 본문에서는 먼저 DIBR 과정에서 깊이지도에 대한 전처리를 통해서 다시점 중간 영상의 화질을 높이려고 시도하였던 기존 연구들에 대해 살펴본다.
  • 본 연구에서는 무안경식 3D 디스플레이를 위한 DIBR 기반 다시점 영상 생성에 최적화된 깊이 영상의 정확도 표현 방법에 대한 연구를 제안한다. 본문에서는 먼저 DIBR 과정에서 깊이지도에 대한 전처리를 통해서 다시점 중간 영상의 화질을 높이려고 시도하였던 기존 연구들에 대해 살펴본다. 그리고 사람이 인지할 수 없는 수준에 적은 왜곡을 보장하기 위해 요구되는 깊이지도의 양자화 계수를 도출한다.
  • 이와 같은 선행 연구들은 DIBR 기반 다시점 중간 영상의 화질을 향상하는 것을 목적으로 불완전한 깊이지도를 보강(Depth augmentation)하는 알고리즘을 제시하였다. 이와 다르게 본 연구에서는 컴퓨터 그래픽스 기술을 활용하여 완벽한 깊이지도를 생성하고 거꾸로 이에 대한 품질을 훼손함으로써 DIBR 기반 다시점 중간 영상의 품질에 영향을 미치지 않는 최소 양자화 계수를 도출하고자 하였다. 또한 기존 연구들이 양자화된 깊이 정보에 대하여 마스크 기반 필터 연산을 적용하여 정제한 것과 다르게 본 연구에서는 깊이 정보가 표본화(Sampling)될 때 표현되는 값의 범위를 물체의 집중 구역과 분산 구역으로 나누어 상이한 양자화 계수를 적용하는 방법을 시도하였다.
  • 본 실험에서는 DIBR에 사용되는 깊이지도의 정밀도를 단계적으로 낮춰가면서 DIBR 기반의 다시점 중간 영상의 급격한 화질 저하를 유발하지 않는 양자화 계수를 도출하고자 하였다. 실사 영상에 대한 깊이 정보는 이미 주변의 밝기나 조명 등에 의해서 왜곡된 정보일 가능성이 높으므로, 이를 활용해서 실험하는 것은 불가능하다.
  • 본 실험에서는 장면 구성의 특성에 따라 일반적인 선형양자화와 비균등 영역분할 양자화가 DIBR 기반 다시점 중간 영상의 화질 개선에 어떤 효과를 미치는지 살펴본다. Fig.
  • 최근에 4K UHD 같은 초고해상도 패널 시장이 열리면서 무안경식 다시점 입체 영상 디스플레이를 통해서도 HD급의 충분한 고화질 입체 영상을 제공하는 것이 가능해졌다. 따라서 본 연구에서는 앞으로의 3D TV 시장을 선도할 수 있는 무안경식 다시점 3D 디스플레이를 위한 DIBR 기반의 다시점 영상 생성 기술을 위한 최적화된 깊이지도 양자화에 대한 기법에 대해 논의하였다.
  • 그러므로 여러 대의 카메라를 구입하고 보정하여 직접 다시점 영상을 획득하거나 많은 데이터를 전송하기 위해 높은 비용을 지출할 필요가 없다. 따라서 본 연구에서는 DIBR 기반의 다시점 영상 생성을 위한 최적화 연구를 수행하여 다시점 3D 콘텐츠의 확보에 기여하고자 하였다.
  • 깊이지도 전처리 연구들은 모두 깊이 정보 보강(Depth augmentation)을 시도하였다. 본 연구에서는 컴퓨터 그래픽 기술을 활용한 깊이지도를 사용하여 DIBR 기반의 다시점 영상의 품질에 영향을 미치지 않는 최소 양자화 비트를 도출하고였다. 또한 기존 연구들처럼 깊이 정보를 필터 연산을 통해 정제하는 방법으로 성능을 개선하기 보다는, 본 연구에서는 깊이 값이 양자화 될 때 표현되는 값의 범위를 물체가 집중된 구역과 그렇지 않는 구역으로 나눠서 적은 양의 깊이 값을 사용하면서도 동일한 품질 향상을 유지하고자 했다.
  • 본 연구에서는 컴퓨터 그래픽 기술을 활용한 깊이지도를 사용하여 DIBR 기반의 다시점 영상의 품질에 영향을 미치지 않는 최소 양자화 비트를 도출하고였다. 또한 기존 연구들처럼 깊이 정보를 필터 연산을 통해 정제하는 방법으로 성능을 개선하기 보다는, 본 연구에서는 깊이 값이 양자화 될 때 표현되는 값의 범위를 물체가 집중된 구역과 그렇지 않는 구역으로 나눠서 적은 양의 깊이 값을 사용하면서도 동일한 품질 향상을 유지하고자 했다.

가설 설정

  • 이에 따라 근 평면(Near plane)과 원 평면(Far plane) 사이에 구간을 비균등하게 분할하고, 그 영역들 중에서 객체들이 집중된 깊이 구간에 더 많은 정밀도를 할당할 수 있는 비균등 영역분할 양자화 방법을 통하여 DIBR 기반 다시점 영상 생성의 화질 향상을 연구하였다. 사람의 관심이 집중되는 중요 영역에 더 정확한 깊이 정보를 제공하기 위한 방법으로 객체정보량이 많은 구간이 일반적으로 사람의 관심 영역(ROI; Region of Interest)일 가능성이 높다는 가정을 전제로 한다[34].
  • PSNR은 두 개의 영상 신호를 구성하는 개별적인 요소들 하나하나가 완벽하게 대응되어 일치하는지 측정할 수 있는 엄격한 화질 평가 방법이다. 인간의 시각 체계가 영상의 자잘한 오류에 집중하기보다 전체적인 구조에 민감하게 반응할 것이라는 가정 하에서 SSIM 분석을 추가로 사용하였다. SSIM은 휘도(Luminance), 대비(Contrast), 구조(Structural)에 대한 유사도를 포함하여 Equation (2)와 (3)과 같이 계산된다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
DIBR이란 무엇인가? DIBR (Depth Image Based Rendering)은 동일 시점의 색상 영상과 깊이 영상을 참조해서 임의 개수의 중간 시점 영상을 생성하는 기법으로 무안경식 다시점 입체 디스플레이를 위한 콘텐츠 제작에 활용할 수 있다. 본 연구에서는 DIBR 기법을 사용해서 생성되는 다시점 중간 영상의 객관적 품질에 깊이 정확도가 미치는 영향에 대해 설명한다.
DIBR 기법의 장점은 무엇인가? DIBR 처리 과정은 색상 영상과 깊이지도에 대한 전처리, 장면에 대한 2차원에서 3차원 정보로의 환원과 3차원에서 2차원 정보로의 투사 과정을 포함하는 3차원 워핑(3D Warping), 비폐색(Dis-occlusion) 영역에 대한 채움 처리와 같은 단계를 포함한다. DIBR 기법은 깊이지도의 획득에 대한 부담이 있지만, 편집, 저장, 전송 과정에서 최소의 참조 영상만을 고려할 수 있기 때문에 보다 저비용의 효과적인 다시점 입체영상 공급이 가능하다. 그러나 DIBR로 가상 복원된 다시점 영상들은 참조 영상에 부재했던 정보나 그 자체의 손상으로 인한 왜곡을 포함한다[8-10].
DIBR의 정보의 부재에 기인한 오류를 최소화하기 위해 어떤 연구가 진행되었는가? 따라서 이러한 오류를 최소화하기 위해 다양한 연구들이 진행되었다. 그 중에서도 DIBR에 입력되는 불완전한 깊이지도의 화질 향상을 목적으로 하는 전처리 연구와 출력 영상의 정보 부재 영역 자체에 대한 보간을 시도하는 후처리 분야에 대한 연구가 주류를 이룬다. 또한 가끔 원본으로부터 3차원 공간을 재구성하는 기법 자체를 달리하여 정보 부재 영역을 최소화하거나 인간의 인지적 특성을 반영하여 관심 영역에 집중하여 화질을 향상하려는 시도들도 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (36)

  1. D. Lanman, M. Hirsch, Y. Kim, and R. Raskar, "Content- Adaptive Parallax Barriers: Optimizing Dual-Layer 3D Displays using Low-Rank Light Field Factorization," in Proceedings of ACM SIGGRAPH Asia 2010 papers (SIGGRAPH ASIA '10), ACM, Vol.29, Issue 6, Article No.163, December, 2010. 

  2. A. J. Woods and J. Helliwell, "Investigating the cross compatibility of IR­controlled active shutter glasses," in Proc. of SPIE Stereoscopic Displays and Applications XXIII, 8288(1C), pp.1-10, 2012. 

  3. KOCCA, "New breakthrough of the 3D TV markget: 'Glasses-free 3D' technology," 3D/CG Issue Report, 2012. 

  4. "Digital Multimedia Broadcasting (DMB) Video-Associated Stereoscopic Data Service," Standard No. TTAK.KO-07.0064, 2008. 

  5. J. I. Jung and Y. S. Ho, "Color Correction Algorithm Based on Camera Characteristics for Multi-view Video Coding," Signal, Image, and Video Processing, 2012, 11760-012-0341. 

  6. K. Choi and Y. Seo, "Efficient Multi-Camera Calibration System," Korean Institute Of Information Technology, Vol.9, No.7, pp.215-223, 2011. 

  7. C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV," Proc. SPIE Stereoscopic Display and Virtual Reality Systems XI, Vol.5291, pp.93-104, 2004. 

  8. C. Fehn, "A 3D-TV Approach Using Depth-Image-Based Rendering (DIBR)," in Proc. of Visualization, Imaging, and Image Processing, pp.482-487, 2003. 

  9. N. Hur, H. L. Lee, G. S. Lee, S. J. Lee, A. Gotchev, and S. I. Park, "3DTV Broadcasting and Distribution Systems," IEEE Transactions on Broadcasting, Vol.57, No.2, pp.395-407 2011. 

  10. A. Redert, M. O. de Beeck, and C. Fehn, "ATTEST: Advanced Three-dimensional Television System Technologies," 3D Data Processing Visualization and Transmission, pp.313-319, 2002. 

  11. M. Kim and Y. Cho, "Design and Implementation of DIBR-based Multi-view Image Generation Simulation System," Journal of Korean Institute of Information Technology, Vol.10, No.8, pp.189-198, 2012. 

  12. L. Do, S. Zinger, Y. Morvan, and P. H. N. de With, "Quality Improving Techniques for Free-Viewpoint DIBR," in Proc. of IEEE 3D-TV CON'09, pp.1-4, 2009. 

  13. L. Zhang and W. J. Tam, "Stereoscopic Image Generation Based on Depth Images for 3D TV," Proc. IEEE Trans. on In Broadcasting, Vol.51, No.2, pp.191-199, 2005. 

  14. M. Magnor, P. Eisert, and B. Girod, "Multi-View Image Coding with Depth Maps and 3-D Geometry for Prediction," in Proc. of SPIE: Visual Communications and Image Processing, pp.263-271, 2001. 

  15. S. B. Lee, K. J. Oh, and Y. S. Ho, "Segment-based Multiview Depth Map Estimation Using Belief Propagation From Dense Multi-view Video," in Proc. of IEEE, 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video, pp.193-196, 2008. 

  16. J. Lee and C. Kim, "Stereoscopic Image Generation with Optimal Disparity using Depth Map Preprocessing and Depth Information Analysis," Proc. The Korean Society of Broadcast Engineers Journal of Broadcast Engineering, Vol.14, No.2, pp.164-177, 2009. 

  17. G. M. Um, F. Speranza, L. Zhang, W. J. Tam, R. Renaud, L. B. Stelmach, and C. H. Ahn, "Investigation on the Effect of Disparity-Based Asymmetrical Filtering of Stereoscopic Video," in Proc. SPIE 5150, Visual Communications and Image Processing 2003, pp.110-118, 2003. 

  18. W. J. Tam, G. Alain, L. Zhang, T. Martin, and R. Renaud, "Smoothing depth maps for improved stereoscopic image quality," in Proceedings of SPIE Conf. Three-Dimensional TV, Video, and Display III, Philadelphia, PA, 5599, pp.162-172, 2004. 

  19. K. J. Oh and Y. S. Ho, "Non-linear Bi-directional Prediction for Depth Coding," Advances in Multimedia Information Processing - PCM 2009, Vol.5879, pp.522-531, 2009. 

  20. X. Ye, J. Yang, H. Huang, and C. Hou, "Computational Multi-View Imaging with Kinect," IEEE Transactions on Broadcasting, Vol.60, No.3, pp.540-554, 2014. 

  21. G. Lee and J. Yoo, "Real-time Virtual-viewpoint Image Synthesis Algorithm Using Kinect Camera," Journal of Electrical Engineering & Technology, Vol.9, No.3, pp.742-748, 2014. 

  22. Q. H. Nguyen, M. N. Do, and S. J. Patel, "Depth Image-Based Rendering with Low Resolution Depth," Proc. IEEE, the 2nd ICIP, pp.553-556, 2009. 

  23. Q. Yang, R. Yang, J. Davis, and D. Nister, "Spatial-Depth Super Resolution for Range Images," Proc. IEEE CVPR'07, pp.1-8, 2007. 

  24. W. Jang and Y. Ho, "Hybrid disparity map generation method based on reliability," Proceedings of the Korean Society of Broadcast Engineers Conference, Vol.2015, No.7, pp.73-74, 2015. 

  25. J. Diebel and S. Thrun, "An application of markov random fields to range sensing," Advances in Neural Information Processing Systems, Vol.18, pp.291-298, 2006. 

  26. G. Leon, H. Kalva, and B. Furht, "3D Video Quality Evaluation with Depth Quality Variations," in Proc. of IEEE 3DTV Conference, pp.301-304, 2009. 

  27. T. Kim, J. H. Kim, M. W. Park, and J. Shin, "Hybrid Down-Sampling Method of Depth Map Based on Moving Objects," The Journal of the KICS, Vol.37A, No.11, pp.918-926, 2012. 

  28. J. H. Jung, J. Yeom, J. Hong, K. Hong, S. W. Min, and B. Lee, "Effect of fundamental depth resolution and cardboard effect to perceived depth resolution on multi-view display," OSA, Optics Express, Vol.19, No.21, pp.20468-20482, 2011. 

  29. S. Zinger, L. Do, and P. H. N. de With, "Free-viewpoint depth image based rendering," Journal of Visual Communication and Image Representation, Vol.21, No.5-6, pp.533-541, 2010. 

  30. K. J. Oh, S. Yea, and Y. S. Ho, "Hole-Filling Method Using Depth Based In-Painting for View Synthesis in Free Viewpoint Television (FTV) and 3D Video," in Proc. of 27th Conference on Picture Coding Symposium, pp.233-236, 2009. 

  31. M. Kim, Y. Cho, H. G. Choo, J. Kim, and K. S. Park, "Effects of Depth Map Quantization for Computer-Generated Multiview Images using Depth Image-Based Rendering," KSII Transactions of Internet and Information Systems, Vol.5, No.11, pp.2175-2190, 2011. 

  32. H. Kim, J. Jung, J. Lee, H. Kang, K. Dong, and W. Chung, "Picture Quality According to the Type of Detector in Full-field Digital Mammography," Journal of the Korean Physical Society, Vol.58, No.2, pp.364-371, 2011. 

  33. I. Ideses, L. Yaroslavsky, I. Amit, and B. Fishbain, "Depth Map Quantization - How much is sufficient?" in Proc. of IEEE 3DTV Conference, pp.1-4, 2007. 

  34. C. Yun, S. Ko, and G. Lee, "The Study about the Differential compression based on the ROI(Region Of Interest)," Journal of the Korea Institute of Information and Communication Engineering, Vol.18, No.3, pp.679-686, 2014. 

  35. S. P. Lloyd, "Least Squared Quantization in PCM," IEEE Trans. Information Theory, Vol.28, No.2, pp.129-137, 1982. 

  36. OpenGL FAQ, The Depth Buffer: 12.07012.070 Why is there more precision at the front of the depth buffer? [Internet], https://www.opengl.org/archives/resources/faq/technical/depthbuffer.htm#0070. 

저자의 다른 논문 :

활용도 분석정보

상세보기
다운로드
내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로