$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

Generative Adversarial Network를 이용한 손실된 깊이 영상 복원
Depth Image Restoration Using Generative Adversarial Network 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.23 no.5, 2018년, pp.614 - 621  

나준엽 (인하대학교 정보통신공학과) ,  심창훈 (인하대학교 정보통신공학과) ,  박인규 (인하대학교 정보통신공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 generative adversarial network (GAN)을 이용한 비감독 학습을 통해 깊이 카메라로 깊이 영상을 취득할 때 발생한 손실된 부분을 복원하는 기법을 제안한다. 제안하는 기법은 3D morphable model convolutional neural network (3DMM CNN)와 large-scale CelebFaces Attribute (CelebA) 데이터 셋 그리고 FaceWarehouse 데이터 셋을 이용하여 학습용 얼굴 깊이 영상을 생성하고 deep convolutional GAN (DCGAN)의 생성자(generator)와 Wasserstein distance를 손실함수로 적용한 구별자(discriminator)를 미니맥스 게임기법을 통해 학습시킨다. 이후 학습된 생성자와 손실 부분을 복원해주기 위한 새로운 손실함수를 이용하여 또 다른 학습을 통해 최종적으로 깊이 카메라로 취득된 얼굴 깊이 영상의 손실 부분을 복원한다.

Abstract AI-Helper 아이콘AI-Helper

This paper proposes a method of restoring corrupted depth image captured by depth camera through unsupervised learning using generative adversarial network (GAN). The proposed method generates restored face depth images using 3D morphable model convolutional neural network (3DMM CNN) with large-scal...

주제어

표/그림 (11)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 기존 알고리즘으로 손실된 깊이 정보를 복원해주는 방식과 달리 비감독 학습 방법 중 영상 처리에 특화된 DCGAN[4] 구조를 사용한다. 그리고 DCGAN의 구별자를 좀 더 효과적으로 학습시키기 위해 기존에 사용되어 왔던 Jensen-Shannon divergence에 비해 무른(weak) 특성을 보이는 Wasserstein distance[6]를 손실함수로 이용하여 문제를 해결하고자 한다. DCGAN은 미니맥스 게임기법을 통해 적대적인 학습을 하는 GAN[7]에서의 생성자와 구별자의 신경망 구조에 영상 처리를 위해 convolutional neural network (CNN) 구조를 적용한 딥러닝 기법이다[4].
  • 본 논문에서는 깊이 카메라로 취득한 얼굴 깊이 영상에서 완전히 손실된 부분을 복원하기 위한 새로운 알고리즘을 제안한다. 기존 알고리즘으로 손실된 깊이 정보를 복원해주는 방식과 달리 비감독 학습 방법 중 영상 처리에 특화된 DCGAN[4] 구조를 사용한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
Wasserstein distance를 손실함수로 이용했을 때 어떤 특징이 있는가? 기존 알고리즘으로 손실된 깊이 정보를 복원해주는 방식과 달리 비감독 학습 방법 중 영상 처리에 특화된 DCGAN[4] 구조를 사용한다. 그리고 DCGAN의 구별자를 좀 더 효과적으로 학습시키기 위해 기존에 사용되어 왔던 Jensen-Shannon divergence에 비해 무른(weak) 특성을 보이는 Wasserstein distance[6]를 손실함수로 이용하여 문제를 해결하고자 한다. DCGAN은 미니맥스 게임기법을 통해 적대적인 학습을 하는 GAN[7]에서의 생성자와 구별자의 신경망 구조에 영상 처리를 위해 convolutional neural network (CNN) 구조를 적용한 딥러닝 기법이다[4].
DCGAN은 무엇인가? 그리고 DCGAN의 구별자를 좀 더 효과적으로 학습시키기 위해 기존에 사용되어 왔던 Jensen-Shannon divergence에 비해 무른(weak) 특성을 보이는 Wasserstein distance[6]를 손실함수로 이용하여 문제를 해결하고자 한다. DCGAN은 미니맥스 게임기법을 통해 적대적인 학습을 하는 GAN[7]에서의 생성자와 구별자의 신경망 구조에 영상 처리를 위해 convolutional neural network (CNN) 구조를 적용한 딥러닝 기법이다[4]. DCGAN의 미니맥스 게임을 진행하기 위해 3DMM CNN[8][9]을 이용하여 총 23,500개의 학습용 데이터 셋을 만들어주어 미니맥스 게임을 수행한다.
DCGAN을 이용하여 RGB 얼굴 영상의 손실된 부분을 복원 시 어떤 문제점이 있는가? 앞서 설명한 기존 방식이 아닌 DCGAN[4]을 이용하여 RGB 얼굴 영상의 손실된 부분을 복원해주는 연구도 이루어졌다[5]. 하지만 DCGAN의 생성자와 구별자를 학습시키기 위해 미니맥스 게임을 수행할 때 구별자에 Jensen-Shannon divergence를 손실 함수로 사용하여 크게 좋은 성능을 보이지 못한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (11)

  1. K. Xu, J. Zhou, and Z. Wang, "A method of hole-filling for the depth map generated by Kinect with moving objects detection," Proceeding of IEEE international Symposium on Broadband Multimedia Systems and Broadcasting, pp. 1-5, June 2012. 

  2. L. Feng, L.-M. Po, X. Xu, K.-H. Ng, C.-H. Cheung, and K.-w. Cheung, "An adaptive background biased depth map hole-filling method for Kinect," Proceeding of IEEE Industrial Electronics Society, pp. 2366-2371, November 2013. 

  3. S. Ikehata, J. Cho, and K. Aizawa, "Depth map inpainting and super-resolution based on internal statistics of geometry and appearance," Proceeding of IEEE International Conference on Image Processing, pp. 938-942, September 2013. 

  4. A. Radford, L. Metz, and S. Chintala, "Unsupervised representation learning with deep convolutional generative adversarial networks," Proceeding of International Conference on Learning Representations, May 2016. 

  5. R. A. Yeh, C. Chen, T. Yian Lim, A. G. Schwing, M. Hasegawa-Johnson, and M. N. Do, "Semantic image inpainting with deep generative models," Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, July 2017. 

  6. M. Arjovsky, S.Chintala, and L. Bottou, "Wasserstein GAN," Proceeding of International Conference on Machine Learning, vol. 70, pp.214-223, August. 2017. 

  7. I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D.Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial networks," Proceeding of Advances in Neural Information Processing Systems, December 2014. 

  8. A. T. Tran, T. Hassner, I. Masi, and G. Medioni, "Regressing robust and discriminative 3D morphable models with a very deep neural net-work," Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, July 2017. 

  9. C. Cao, Y. Weng, S. Zhou, Y. Tong, and K.Zhou, "FaceWarehouse: a 3D facial expression database for visual computing," IEEE Transaction on Visualization and Computer Graphics, vol. 20, no. 3, pp. 413-425, March 2014. 

  10. P. Paysan, R. Knothe, B. Amberg, S. Romdhani, and T. Vetter, "A 3D face model for pose and illumination invariant face recognition," Proceeding of IEEE International Conference on Advanced Video and Signal Based Surveillance, October 2009. 

  11. $Intel^{(R)}$ $RealSense^{TM}$ Camera SR300, https://software.intel.com/sites/default/files/managed/0c/ec/realsense-sr300-product-data-sheet-rev-1-0.pdf (accessed August 13, 2018). 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로