$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

라이트필드 초해상도와 블러 제거의 동시 수행을 위한 적대적 신경망 모델
Adversarial Framework for Joint Light Field Super-resolution and Deblurring 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.5, 2020년, pp.672 - 684  

조나단 사무엘 (인하대학교 정보통신공학과) ,  백형선 (인하대학교 정보통신공학과) ,  박인규 (인하대학교 정보통신공학과)

초록
AI-Helper 아이콘AI-Helper

시차 기반 영상처리에 대한 연구들이 증가함에 따라 저해상도 및 모션 블러된 라이트필드 영상을 복원하는 연구는 필수적이 되었다. 이러한 기법들은 라이트필드 영상 향상 과정으로 알려져 있으나 두 개 이상의 문제를 동시에 해결하는 기존의 연구는 거의 존재하지 않는다. 본 논문에서는 라이트필드 공간 영역 초해상도 복원과 모션 블러 제거를 동시 수행하는 프레임워크를 제안한다. 특히, 저해상도 및 6-DOF 모션 블러된 라이트필드 데이터셋으로 훈련하는 간단한 네트워크를 생성한다. 또한 성능을 향상하기 위해 생성적 적대 신경망의 지역 영역 최적화 기법을 제안하였다. 제안한 프레임워크는 정량적, 정성적 측정을 통해 평가하고 기존의 state-of-the-art 기법들과 비교하여 우수한 성능을 나타냄을 보인다.

Abstract ▼ AI-Helper 아이콘AI-Helper

Restoring a low resolution and motion blurred light field has become essential due to the growing works on parallax-based image processing. These tasks are known as light-field enhancement process. Unfortunately, only a few state-of-the-art methods are introduced to solve the multiple problems joint...

주제어

#Deep learning   #light field   #deblurring   #super-resolution  

표/그림 (9)

질의응답

핵심어 질문 논문에서 추출한 답변
초해상도 기법이란 무엇인가? 초해상도 기법은 저해상도 영상들의 보간된 픽셀들에 의해 발생한 블러된 영역을 복원하거나 새로운 고해상도의 위치에 픽셀들을 채우는 작업이다. 2차원 영상에 CNN을 활용한 초해상도의 최신기법은 훈련 중 빠르게 수렴이 가능하도록 한 Kim et al.
라이트필드 영상 향상을 올바르게 수행하기 위해서 중요한 것은 무엇인가? 라이트필드 영상 향상을 올바르게 수행하기 위해서는 시차 정보를 취득하는 라이트필드의 도메인을 자세히 설명하는 것이 중요하다. 하나의 라이트필드 영상은 2차원 공간 영역 및 2차원 각 영역으로 분산된 픽셀들을 갖고 있다.
라이트필드의 각각의 다시점 영상은 무엇을 의미하는가? 기존의 2차원 영상과는 다른 추가적인 각 영역은 시차와 관련된 다시점 영상들(subview images)을 생성한다. 라이트필드의 각각의 subview 영상은 Ng에 의해 기술 된 바와 같이 특정 각도 방향에 위치하는 2차원 영상를 의미하며[20], 대부분 라이트필드의 공간 및 각도영역의 좌표는 각각 (x, y) 및 (u, v)를 사용하여 나타낸다. 초기 연구에서는 단일 카메라 앞에서 작은 물체를 회전시킴으로써 여러 장면을 생성하여 라이트필드를 취득하였다[15].
질의응답 정보가 도움이 되었나요?

참고문헌 (37)

  1. Y. Bok, H. G. Jeon, and I. S. Kweon, "Geometric calibration of micro-lense-based light field cameras using line features," IEEE Trans. on Pattern Analysis and Machine Intelligence, 39(2):287-300, February 2017. 

  2. I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets," In Proc. of Advances in Neural Information Processing Systems, pages 2672-2680, December 2014. 

  3. I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. C. Courville, "Improved training of Wasserstein GANs," In Proc. of Advances in Neural Information Processing Systems, pages 5767-5777, December 2017. 

  4. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 770-778, June 2016. 

  5. T. H. Kim, K. M. Lee, B. Scholkopf, and M. Hirsch, "Online video deblurring via dynamic temporal blending network," In Proc. of IEEE International Conference on Computer Vision, pages 4058-4067, 2017. 

  6. S. Iizuka, E. Simo-Serra, and H. Ishikawa, "Globally and locally consistent image completion," ACM Transactions on Graphics, 36(4):107, Article No. 107, July 2017. 

  7. P. Isola, J. Y. Zhu, T. Zhou, and A. A. Efros, "Image-to-image translation with conditional adversarial networks," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 1125-1134, July 2017. 

  8. H. G. Jeon, J. Park, G. Choe, J. Park, Y. Bok, Y. W. Tai, and I. S. Kweon, "Accurate depth map estimation from a lenslet light field camera," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 1547-1555, June 2015. 

  9. N. K. Kalantari, T. C. Wang, and R. Ramamoorthi, "Learning-based view synthesis for light field cameras," ACM Transactions on Graphics, 35(6), Article No. 193, November 2016. 

    상세보기

  10. J. Kim, J. K. Lee, and K. M. Lee, "Accurate image super-resolution using very deep convolutional networks," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 1646-1654, June 2016. 

  11. D. Krishnan, T. Tay, and R. Fergus, "Blind deconvolution using a normalized sparsity measure," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 233-240, June 2011. 

  12. O. Kupyn, V. Budzan, M. Mykhailych, D. Mishkin, and J. Matas, "DeblurGAN: Blind motion deblurring using conditional adversarial networks," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 8183-8192, June 2018. 

  13. W. S. Lai, J. B. Huang, Z. Hu, N. Ahuja, and M. H. Yang, "A comparative study for single image blind deblurring," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 1701-1709, June 2016. 

  14. D. Lee, H. Park, I. K. Park, and K. M. Lee, "Joint blind motion deblurring and depth estimation of light field," In Proc. of European Conference on Computer Vision, pp. 300-316, September 2018. 

  15. M. Levoy and P. Hanrahan, "Light field rendering," In Proc. of SIGGRAPH, pages 31-42, August 1996. 

  16. J. S. Lumentut, T. H. Kim, R. Ramamoorthi, and I. K. Park, "Fast and full-resolution light field deblurring using a deep neural network," IEEE Signal of Processing Letters, 26(12), pages 1788-1792, December 2019. 

  17. J.S. Lumentut, Williem, and I. K. Park, "6-DOF Motion Blur Synthesis and Performance Evaluation of Light Field Deblurring," Multimedia Tools and Application, 78(23), pages 33723-33746, December 2019. 

  18. M. R. Mahesh Mohan and A. N. Rajagopalan, "Divide and conquer for full-resolution light field deblurring," In Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6421-6429, June 2018. 

  19. S. Nah, T. H. Kim, and K. M. Lee, "Deep multi-scale convolutional neural network for dynamic scene deblurring," In Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, volume 1, pages 3883-3891, July 2017. 

  20. R. Ng, "Fourier slice photography," ACM Trans. on Graphics, 24(3):735-744, July 2005. 

  21. J. Pan, Z. Hu, Z. Su, and M. H. Yang, "Deblurring text images via L0-regularized intensity and gradient prior," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 2901-2908, June 2014. 

  22. W. Qiu, F. Zhong, Y. Zhang, S. Qiao, Z. Xiao, T. S. Kim, and Y. Wang, "UnrealCV: Virtual worlds for computer vision." In Proc. of ACM International Conference on Multimedia, pages 1221-1224, October 2017. 

  23. Z. Shen, W. S. Lai, T. Xu, J. Kautz, and M. H. Yang, "Deep semantic face deblurring," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 8260-8269, June 2018. 

  24. K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," In Proc. of International Conference on Learning Representations, April 2014. 

  25. P. P. Srinivasan, R. Ng, and R. Ramamoorthi, "Light field blind motion deblurring," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 3958-3966, July 2017. 

  26. P. P. Srinivasan, R. Tucker, J. T. Barron, R. Ramamoorthi, R. Ng, and N. Snavely, "Pushing the boundaries of view extrapolation with multiplane images," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 175-184, June 2019. 

  27. P. P. Srinivasan, T. Wang, A. Sreelal, R. Ramamoorthi, and R. Ng, "Learning to synthesize a 4D RGBD light field from a single image," In Proc. of IEEE International Conference on Computer Vision, pages 2262-2270, October 2017. 

  28. S. Su, M. Delbracio, J. Wang, G. Sapiro, W. Heidrich, and O. Wang, "Deep video deblurring for hand-held cameras," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, volume 2, pages 237-246, July 2017. 

  29. Y. W. Tai, P. Tan, and M. S. Brown, "Richardson-Lucy deblurring for scenes under a projective motion path," IEEE Trans. on Pattern Analysis and Machine Intelligence, 33(8):1603-1618, August 2011. 

  30. M. W. Tao, S. Hadap, J. Malik, and R. Ramamoorthi, "Depth from combining defocus and correspondence using light-field cameras," In Proc. of the IEEE International Conference on Computer Vision, pages 673-680, December 2013. 

  31. M. W. Tao, P. P Srinivasan, J. Malik, S. Rusinkiewicz, and R. Ramamoorthi, "Depth from shading, defocus, and correspondence using light-field angular coherence," In Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1940-1948, June 2015. 

  32. D. Ulyanov, A. Vedaldi, and V. Lempitsky, "Instance normalization: The missing ingredient for fast stylization," arXiv preprint arXiv:1607.08022, 2016. 

  33. T. C Wang, A. A. Efros, and Ravi Ramamoorthi, "Depth estimation with occlusion modeling using light-field cameras," IEEE Trans. on Pattern Analysis and Machine Intelligence, 38(11):2170-2181, November 2016. 

  34. Williem, I. K. Park, and K. M. Lee, "Robust light field depth estimation using occlusion-noise aware data costs," IEEE Trans. on Pattern Analysis and Machine Intelligence, 40(10):2484-2497, October 2018. 

  35. Y. Yoon, H. G. Jeon, D. Yoo, J. Y. Lee, and I. S. Kweon, "Learning a deep convolutional network for light-field image super-resolution," In Proc. of IEEE International Conference on Computer Vision Workshop, pages 57-65, June 2015. 

  36. S. Zhang, Y. Lin, and H. Sheng, "Residual networks for light field image super-resolution," In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 11046-11055, June 2019. 

  37. T. Zhou, R. Tucker, J. Flynn, G. Fyffe, and N. Snavely, "Stereo magnification: Learning view synthesis using multiplane images," ACM Trans. on Graphics, 37(4), Article No. 65, July 2018. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로