$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 물체 변형 성능을 향상하기 위한 U-net 및 Residual 기반의 Cycle-GAN
U-net and Residual-based Cycle-GAN for Improving Object Transfiguration Performance 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.13 no.1, 2018년, pp.1 - 7  

김세운 (School of Robotics, Kwangwoon University) ,  박광현 (School of Robotics, Kwangwoon University)

Abstract AI-Helper 아이콘AI-Helper

The image-to-image translation is one of the deep learning applications using image data. In this paper, we aim at improving the performance of object transfiguration which transforms a specific object in an image into another specific object. For object transfiguration, it is required to transform ...

Keyword

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • GAN은 판별(Discriminator)과 생성(Generator)을 담당하는 두 개의 인공신경망으로 구성되며, 학습 과정에서 두 개의 인공신경망이 서로 경쟁을 한다. 본 논문에서는 이미지-이미지 번역의 일종인 물체 변형(Object Transfiguration)의 성능을 개선하고자 하였다. 물체 변형에서는 이미지 상의 특정 물체 자체를 도메인으로 보고 다른 물체로 변형하는 일을 수행한다.
  • 이 때, 이미지 상에서 목표가 되는 물체만 정확하게 인식하고 해당 부분만 적절하게 변형하는 것이 필요한데, 기존 결과에서는 목표가 되는 물체 이외의 부분에서도 변형이 생기는 현상을 관찰할 수 있다. 본 논문에서는 GAN을 구성하는 인공신경망들 중 직접적으로 도메인 간의 변환을 학습하는 생성망의 구조에 초점을 맞추어 기존방법의 한계점을 개선하고자 하였다. 즉, 기존 방법과 같이 생성망이 상대 도메인의 전체 이미지를 생성하는 것이 아니라 특정 영역에 대한 마스크를 생성하여 물체 변형을 수행하도록 제약을 주었으며, 이를 통해 목표가 되는 물체에 집중하는 효과를 얻을 수 있었다.
  • 또한 기존에 사용된 생성망 구조와 이미지-이미지 번역에서 자주 사용되는 구조를 분석하고 결합하여 각각의 장점은 살리고 단점은 보완하는 새로운 형태의 구조를 제안하였다. 실험에는 기존 Cycle-GAN에서 사용된 horse2zebra 데이터[6]를 사용하였으며, 본 논문의 목적에 따른 지표를 제시하여 정량적으로 성능을 평가하고자 하였다.
  • 동일한 개념을 사용하는 연구로 Disco-GAN[7], Dual-GAN[8] 이 있다. 본 논문에서는 Cycle-GAN을 물체 변형을 위한 큰 틀로 사용하고 내부에서 사용되는 인공신경망의 세부적인 구조에 초점을 맞추어, 구조적인 제약을 추가하고 기존 이미지-이미지 번역에서 빈번하게 사용되는 구조들을 결합함으로써 성능 향상을 얻고자 하였다.
  • 본 논문에서는 물체 변형을 수행할 때 물체 이외의 부분도 같이 변형되는 기존 방법의 문제를 개선한 새로운 생성망 구조를 제안하였다. 직접적으로 변형을 담당하는 인공신경망에 제약을 추가하고, 기존 구조들을 결합하여 세부적인 구조를 변경함으로써 배경을 유지하면서 물체만 변형될수 있도록 하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
이미지-이미지 번역은 무엇인가? 이미지-이미지 번역(Image-to-Image Translation)[1]은 이미지를 활용하는 딥러닝의 응용 분야 중 하나로서, 인공신경망의 입력과 출력 데이터가 모두 이미지 형태이다. 입력 이미지의 도메인을 원하는 다른 도메인으로 변환하는 일을 수행하며, 도메인을 어떻게 설정하느냐에 따라 다양한 응용이 가능하다.
GAN은 무엇으로 구성되는가? 다루는데이터의 형태가 이미지이기 때문에 합성곱 인공신경망(Convolutional Neural Networks)을 기반으로 하여, 최근에는 딥러닝 분야에서 가장 활발하게 연구되고 있는 생성모델 중 하나인 GAN (Generative Adversarial Networks)[4]을 많이 사용하고 있다. GAN은 판별(Discriminator)과 생성(Generator)을 담당하는 두 개의 인공신경망으로 구성되며, 학습 과정에서두 개의 인공신경망이 서로 경쟁을 한다. 본 논문에서는 이미지-이미지 번역의 일종인 물체 변형(Object Transfiguration)의 성능을 개선하고자 하였다.
이미지-이미지 번역의 예시는 무엇이 있는가? 입력 이미지의 도메인을 원하는 다른 도메인으로 변환하는 일을 수행하며, 도메인을 어떻게 설정하느냐에 따라 다양한 응용이 가능하다. 흑백 사진을 컬러 사진으로[2], 지도를 위성사진으로[1], 선화를 채색된 이미지로 변환[3]하는 등의 예시가 있다. 다루는데이터의 형태가 이미지이기 때문에 합성곱 인공신경망(Convolutional Neural Networks)을 기반으로 하여, 최근에는 딥러닝 분야에서 가장 활발하게 연구되고 있는 생성모델 중 하나인 GAN (Generative Adversarial Networks)[4]을 많이 사용하고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (16)

  1. P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros, "Image-to-image translation with conditional adversarial networks," 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, pp. 5967-5976, 2017. 

  2. R. Zhang, P. Isola, and A. A. Efros, "Colorful image colorization," European Conference on Computer Vision,, Amsterdam, Netherlands, pp. 649-666, 2016. 

  3. Preferred Networks, PaintsChainer, [Online], https://paintschainer.preferred.tech, Accessed: January 16, 2018. 

  4. I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde- Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets," in 28th Annual Conference on Neural Information Processing Systems, Montreal, Canada, pp. 2672-2680, 2014. 

  5. J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros, "Unpaired image-to-image translation using cycle-consistent adversarial networks," 2017 IEEE International Conference on Computer Vision, Venice, Italy, pp. 2242-2251, 2017. 

  6. O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, and L. Fei-Fei, "ImageNet Large scale visual recognition challenge," International Journal of Computer Vision, vol. 115, no. 3, pp. 211-252, April, 2015. 

  7. T. Kim, M. Cha, H. Kim, J. K. Lee, and J. Kim, "Learning to discover cross-domain relations with generative adversarial networks," International Conference on Machine Learning, Sydney, Australia, pp. 1857-1865, 2017. 

  8. Z. Yi, H. Zhang, P. Tan, and M. Gong, "Dualgan: Unsupervised dual learning for image-to-image translation," in IEEE International Conference on Computer Vision, Venice, Italy, pp. 2868-2876, 2017. 

  9. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," 2017 IEEE International Conference on Computer Vision, Las Vegas, USA, pp. 770-778, 2016. 

  10. K. He, X. Zhang, S. Ren, and J. Sun, "Identity mappings in deep residual networks," European Conference on Computer Vision, Amsterdam, Netherlands, pp. 630-645, 2016. 

  11. J. Johnson, A. Alahi, and L. Fei-Fei, "Perceptual losses for real-time style transfer and super-resolution," European Conference on Computer Vision, Amsterdam, Netherlands, pp. 694-711, 2016. 

  12. O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, pp.234-241, 2015. 

  13. X. Mao, Q. Li, H. Xie, R. Y.K. Lau, Z. Wang, and S. P. Smolley, "Least squares generative adversarial networks," 2017 IEEE International Conference on Computer Vision, Venice, Italy, pp. 2813-2821, 2017. 

  14. A. Shrivastava, T. Pfister, O. Tuzel, J. Susskind, W. Wang, and R. Webb, "Learning from simulated and unsupervised images through adversarial training," 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, pp. 2242-2251, 2017. 

  15. E. Borenstein and S. Ullman, "Combined top-down/bottom-up segmentation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 12, pp. 2109-2125, December, 2008. 

  16. W. Mokrzycki and M. Tatol, "Color difference ΔE - A survey," Machine Graphic and Vision, vol. 20, no. 4, pp. 383-411, April, 2011. 

활용도 분석정보

상세보기
다운로드
내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로