[논문]딥러닝 기반 단일 이미지 생성적 적대 신경망 기법 비교 분석

정성훈; 공경보

doi:10.5909/jbe.2022.27.3.437

딥러닝 기반 단일 이미지 생성적 적대 신경망 기법 비교 분석
Deep Learning-based Single Image Generative Adversarial Network: Performance Comparison and Trends 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.3, 2022년, pp.437 - 450

정성훈 (부경대학교 신문방송학과) , 공경보 (부경대학교 미디어커뮤니케이션학부 휴먼ICT융합전공)

초록
AI-Helper

생성적 적대 신경망(GAN, Generative Adversarial Networks)는 이미지 생성 분야에서 주목할 만한 발전을 이루었다. 하지만 큰 데이터 셋에서 불안정한 모습을 보인다는 한계 때문에 다양한 응용 분야에 쉽게 적용하기 어렵다. 단일 이미지 생성적 적대 신경망은 한장의 이미지의 내부 분포를 잘 학습하여 다양한 영상을 생성하는 분야이다. 큰 데이터셋이 아닌 단 한장만 학습함으로써 안정적인 학습이 가능하며 이미지 리타겟팅, 이미지 조작, super resolution 등 다양한 분야에 활용 가능하다. 본 논문에서는 SinGAN, ConSinGAN, InGAN, DeepSIM, 그리고 One-Shot GAN 총 다섯 개의 단일 이미지 생성적 적대 신경망을 살펴본다. 우리는 각각의 단일 이미지 생성적 적대 신경망 모델들의 성능을 비교하고 장단점을 분석한다.

Abstract ▼ AI-Helper

Generative adversarial networks(GANs) have demonstrated remarkable success in image synthesis. However, since GANs show instability in the training stage on large datasets, it is difficult to apply to various application fields. A single image GAN is a field that generates various images by learning the internal distribution of a single image. In this paper, we investigate five Single Image GAN: SinGAN, ConSinGAN, InGAN, DeepSIM, and One-Shot GAN. We compare the performance of each model and analyze the pros and cons of a single image GAN.

주제어

표/그림 (15)

그림 그림 1. SinGAN의 네트워크 구조. 단계가 높아질수록 세밀한 분포를 생성하는 것을 알 수 있다^[10] Fig. 1. Network architecture of SinGAN^[10]
그림 그림 2. ConSinGAN의 네트워크 구조^[11] Fig. 2. Network architecture of ConSinGAN^[11]
그림 그림 3. ConSinGAN에서 Learning Rate의 변화에 따른 생성된 이미지의 변화^[11] Fig. 3. Changes in the generated image according to the change of the learning rate in ConSinGAN^[11]
그림 그림 4. InGAN의 네트워크 구조^[12] Fig. 4. Network architecture of InGAN^[12]
그림 그림 5. InGAN을 통해 생성된 이미지. 화면의 비율과 크기가 변해도 이미지 내부 오브젝트가 자연스럽게 변하는 것을 확인할 수 있다^[12] Fig. 5. InGAN can naturally synthesize a new images of significantly different size/shape/aspect ratios^[12]
그림 그림 6. DeepSIM의 이미지 생성과정과 결과. 원본 이미지와 prim그림 6. DeepSIM의 이미지 생성과정과 결과. 원본 이미지와 primitive 이미지 한 쌍을 학습하여 자연스러운 이미지를 생성한 것을 확인할 수 있다^[13] Fig. 6. Image manipulation process of DeepSIM. A natural image is generated by learning a pair of original image and primitive image^[13]itive 이미지 한 쌍을 학습하여 자연스러운 이미지를 생성한 것을 확인할수 있다[13]Fig. 6. Image manipulation process of DeepSIM. A natural image is generated by learning a pair of original image and primitiveimage[13]
그림 그림 7. One-Shot GAN의 네트워크 구조. 판별자 네트워크가 두 기능으로 분리된 것을 확인할 수 있다^[14] Fig. 7. Network architecture of One-Shot GAN. The discriminator of One-Shot GAN has two different branches^[14]
그림 그림 8. One-Shot GAN으로이미지나 비디어프레임을 생성한결과. 빨간색테두리 이미지는입력, 나머지는 One-Shot GAN 생성 결과^[14] Fig. 8. The result of generating images or video frames with One-Shot GAN. The red border are the input images, and the rest is the generation results of One-Shot GAN^[14]
그림 그림 9. 광안대교와 불꽃놀이 이미지에 대해 SinGAN, ConSinGAN으로 각각 학습하여 다른 비율의 이미지를 생성한 결과 Fig. 9. The result of generating images of different ratios by learning each Gwangan Bridge and fireworks images with SinGAN and ConSinGAN
그림 그림 10. InGAN으로 원본 이미지와 다른 비율로 이미지를 생성한 결과 Fig. 10. The generated images of different ratios from the original via InGAN
그림 그림 11. DeepSIM 모델을 이용한 이미지 조작 및 이미지 크기 변형 결과 Fig. 11. Image manipulation and image resize results using DeepSIM model
그림 그림 12. SinGAN과 DeepSIM의 이미지 조작 성능 비교 Fig. 12. Comparison of image manipulation performance of SinGAN and DeepSIM
표 표 1. 각 모델들의 장단점 비교 Table 1. Comparison of advantages and disadvantages of each network
표 표 2. 정량적 비교 측정 Table 2. Quantitative evaluation
그림 그림 13. 다양한 이미지에 대해 각 모델이 생성한 이미지 Fig 13. Images generated by each network for different images

참고문헌 (27)

I.J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A.C. Courville, Y. Bengio, "Generative adversarial nets," In Advances in Neural Information Processing Systems, pp.2672-2680, 2014. doi: https://doi.org/10.48550/arXiv.1406.2661
T. Karras, T. Aila, S. Laine, J. Lehtinen, "Progressive Growing of GANs for Improved Quality, Stability, and Variation," arXiv preprint arXiv:1710.10196, 2017. doi: https://doi.org/10.48550/arXiv.1710.10196
X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, P. Abbeel, "InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets," 30th Conference on Neural Information Processing Systems, NIPS, 2016. doi: https://doi.org/10.48550/arXiv.1606.03657
J. Y. Zhu, T. Park, P. Isola, A. A. Efros, "Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks," Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp.2223-2232, 2017 doi: http://dx.doi.org/10.1109/ICCV.2017.244
Moon, C. K., Uh, Y. J., Byun, H. R., "Image Restoration using GAN," JOURNAL OF BROADCAST ENGINEERING, pp.503-510, 2018 doi: https://doi.org/10.5909/JBE.2018.23.4.503

원문보기 상세보기
Nah, J. Y., Sim, C. H., Park, I. K., "Depth Image Restoration Using Generative Adversarial Network," JOURNAL OF BROADCAST ENGINEERING, pp.614-621, 2018 doi: https://doi.org/10.5909/JBE.2018.23.5.614

원문보기 상세보기
Kim, k. h., Kong, K. B., Kang, S. J., "A Review on Deep Learning-based Image Outpainting," JOURNAL OF BROADCAST ENGINEERING, pp.61-69, 2021 doi: https://doi.org/10.5909/JBE.2021.26.1.61

원문보기 상세보기
M. Arjovsky, S. Chintala, L. Bottou, "Wasserstein Generative Adversarial Networks," Proceedings of the 34th International Conference on Machine Learning, pp. 214-223, 2017. doi: https://doi.org/10.48550/arXiv.1701.07875
T. Miyato, T. Kataoka, M. Koyama, Y. Yoshida, "Spectral normalization for generative adversarial networks," arXiv preprint arXiv:1802.05957, 2018. doi: https://doi.org/10.48550/arXiv.1802.05957
T.R. Shaham, T. Dekel, T. Michaeli, "Singan: Learning a generative model from a single natural image," Proceedings of the IEEE International Conference on Computer Vision, pp.4570-4580, 2019. doi: https://doi.org/10.48550/arXiv.1905.01164
T.Hinz, M. Fisher, O. Wang, S. Wermter, "Improved techniques for training single-image gans," In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp.1300-1309, 2021. doi: http://dx.doi.org/10.1109/WACV48630.2021.00134
A. Shocher, S. Bagon, P. Isola, M. Irani, "Ingan: Capturing and remapping the" dna" of a natural image," In IEEE International Conference on Computer Vision (ICCV) 2019. doi: http://dx.doi.org/10.1109/ICCV.2019.00459
Y. Vinker, E. Horwitz, N. Zabari, "Image Shape Manipulation from a Single Augmented Training Sample," Proceedings of the ICCV, 2021. doi: http://dx.doi.org/10.1109/ICCV48922.2021.01351
V. Sushko, J. Gall, A. Khoreva, "One-shot gan: Learning to generate samples from single images and videos," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.2596-2600. 2021. doi: http://dx.doi.org/10.1109/CVPRW53098.2021.00293
X. Mao, Q. Li, H. Xie, R.Y.K. Lau, Z. Wang, "Least squares generative adversarial networks," Proceedings of the ICCV, 2016. doi: http://dx.doi.org/10.1109/ICCV.2017.304
D. Berthelot, T. Schumm, L. Metz, "BEGAN: Boundary Equilibrium Generative Adversarial Networks," arXiv preprint arXiv:1703.10717, 2017. doi: https://doi.org/10.48550/arXiv.1703.10717
A. Radford, L. Metz, S. Chintala, "Unsupervised representation learning with deep convolutional generative adversarial networks," arXiv preprint arXiv:1511.06434, 2015. doi: https://doi.org/10.48550/arXiv.1511.06434
H. Zhang, I. Goodfellow, D. Metaxas, "Self-Attention Generative Adversarial Networks," Proceedings of the 36th International Conference on Machine Learning, pp.7354-7363, 2019. doi: https://doi.org/10.48550/arXiv.1805.08318
G. Donato, S. Belongie, "Approximate thin plate spline mappings," In European conference on computer vision, pp.21-31, 2002. doi: http://dx.doi.org/10.1007/3-540-47977-5_2

상세보기
M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, S. Hochreiter, "Gans trained by a two time-scale update rule converge to a local nash equilibrium," In Advances in Neural Information Processing Systems, pp.6626-6637, 2017. doi: https://dl.acm.org/doi/10.5555/3295222.3295408
J. Lin, Y. Pang, Y. Xia, Z. Chen, J. Luo, "Tuigan: Learning versatile image-to-image translation with two unpaired images," European Conference on Computer Vision. pp.18-35. 2020. doi: http://dx.doi.org/10.1007/978-3-030-58548-8_2
R. Zhang, P.Isola, A. A. Efros, E. Shechtman, O. Wang, "The unreasonable effectiveness of deep features as a perceptual metric," arXiv preprint arXiv:1801.03924, 2018. doi: http://dx.doi.org/10.1109/CVPR.2018.00068
T. C. Wang, M. Y. Liu, J. Y. Zhu, A. Tao, J. Kautz, B. Catanzaro, "High-resolution image synthesis and semantic manipulation with conditional gans," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.8798-8807, 2018 doi: http://dx.doi.org/10.1109/CVPR.2018.00917
https://github.com/tamarott/SinGAN
https://github.com/tohinz/ConSinGAN
https://github.com/assafshocher/InGAN
https://github.com/eliahuhorwitz/DeepSIM

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증