[논문]GAN 적대적 생성 신경망과 이미지 생성 및 변환 기술 동향

조영주; 배강민; 박종열

doi:10.22648/etri.2020.j.350409

GAN 적대적 생성 신경망과 이미지 생성 및 변환 기술 동향
Research Trends of Generative Adversarial Networks and Image Generation and Translation 원문보기

전자통신동향분석 = Electronics and telecommunications trends, v.35 no.4, 2020년, pp.91 - 102

조영주 (시각지능연구실) , 배강민 (시각지능연구실) , 박종열 (시각지능연구실)

Abstract ▼ AI-Helper

Recently, generative adversarial networks (GANs) is a field of research that has rapidly emerged wherein many studies conducted shows overwhelming results. Initially, this was at the level of imitating the training dataset. However, the GAN is currently useful in many fields, such as transformation of data categories, restoration of erased parts of images, copying facial expressions of humans, and creation of artworks depicting a dead painter's style. Although many outstanding research achievements have been attracting attention recently, GANs have encountered many challenges. First, they require a large memory facility for research. Second, there are still technical limitations in processing high-resolution images over 4K. Third, many GAN learning methods have a problem of instability in the training stage. However, recent research results show images that are difficult to distinguish whether they are real or fake, even with the naked eye, and the resolution of 4K and above is being developed. With the increase in image quality and resolution, many applications in the field of design and image and video editing are now available, including those that draw a photorealistic image as a simple sketch or easily modify unnecessary parts of an image or a video. In this paper, we discuss how GANs started, including the base architecture and latest technologies of GANs used in high-resolution, high-quality image creation, image and video editing, style translation, content transfer, and technology.

주제어

표/그림 (21)

그림 그림 1 GAN의 이미지 편집/생성 활용사례
그림 그림 2 GAN의 구조 및 학습 과정
그림 그림 3 DCGAN의 생성 신경망 구조
그림 그림 4 DCGAN의 이미지 연산을 통하여 생성된 이미지
그림 그림 5 BEGAN의 생성 이미지 결과들
그림 그림 6 Pix2Pix의 학습 방법
그림 그림 7 Pix2Pix의 이미지 변환 결과들
그림 그림 9 ProGAN의 실험 결과(1,024×1,024)
그림 그림 8 ProGAN의 네트워크 및 학습 구조
그림 그림 10 SinGAN의 네트워크 구조도
그림 그림 11 SinGAN에서의 실험 결과
그림 그림 12 Pix2PixHD 실험 결과
그림 그림 13 Pix2PixHD의 입력
그림 그림 14 SPADE 실험 결과
그림 그림 15 SPADE 구조도
그림 그림 17 LostGAN 구조도
그림 그림 16 LostGAN 실험 결과
그림 그림 19 Deepfill 실험 결과
그림 그림 18 SRGAN 실험 결과
그림 그림 20 StyleGAN 실험 결과
그림 그림 21 StarGAN 실험 결과

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그래서 이번 기술 동향 분석에서는 GAN을 이용해 고해상도의 이미지를 만들어내는 연구와 조건에 따라 이미지를 생성하고 변환하는 이미지 변환 기술을 소개한다.
다음으로, 이미지 입력을 받아서 다른 형태의 이미지로 변환하는 이미지 변환에 사용되는 대표적인 기술을 살펴본다.
본 고에서는 최근 GAN을 이용하여 연구되고 있는 많은 기술들과 활용 방안들의 시작부터 최신 기술까지의 동향에 대해 살펴보았다.
본 고에서는 최근 주목받고 있는 GAN의 시작부터 최신 기술의 연구 사례까지 살펴보고, 성능에 대해 살펴보도록 한다.
여기서는 GAN을 이용한 이미지 변환 기술의 연구 동향에 대해 알아본다.

제안 방법

DCGAN에 이어 Googlee 2017년 GAN을 학습시키는 손실 함수를 이미지 데이터 분포에 초점을 맞추지 않고 손실 함수 자체의 분포에 초점을 맞추어 변형시키는 방법으로 다시 한번 GAN의 성능을 끌어올리는 BEGAN[5]을 발표하였다.
ISLA Norme 그림 17에서와 같이 layout의 bounding box 좌표, label 등의 정보를 이용하는 정규화해 주는 계층을 제안하였다.
그래서 새로운 은닉 계층을 통과하기 전의 값과 통과한 이후 값에 그림 8의 아래처럼 α라는 가중치를 두어 합하는 방식으로 새로운 은닉 계층을 학습시켰다.
그리고 가중치를 없애고 각 step에서 이미지 크기를 2배로 키우지 않고 4/3 배씩 이미지 크기를 증가시키는 방법을 선택하였다.
기존의 지도학습에서 이미지 처리를 위한 딥러닝에서 컨볼루션 구조를 이용하여 안정성과 성능을 잡았던 것과 비슷한 방법으로 그림 3과 같이 GAN의 생성 신경망 구조에서 노이즈를 확장시키는 데 있어서 미분이 불가능한 모든 층을(max pooling과 같은) 모두 미분이 가능한 컨볼루션으로대체 구성하여 학습의 안정성과 성능을 높이는 방법을 제시하였다.
먼저 대표적인 노이즈 입력을 받아서 이미지를 만드는 기술들을 살펴보고, 입력을 조절하여 결과물의 방향성을 조절하는 방법을 살펴본다.
이를 보완하고자 StyleGAN₂[21] 정보를 발표하여 과거 이미지 생성에서 발생하던 문제들을 보완하였다.
하얀색 사각형을 이용하여 사용자가 이미지의 지우고 싶은 부분들에 대해 표시하였고 학습된 네트워크가 이를 복원한다.

이론/모형

판별 신경망도 전체 이미지를 한 번에 판별하는 방법이 아닌 Patch별로 판별하는 PatchGAN 형태의 판별 신경망을 활용하였다(그림 6).

성능/효과

DCGANe 이러한 결과뿐만 아니라 GAN에서 학습된 특징들이 어떻게 신경망에 저장되어 있는지를 보여주고 이를 분석하여, 입력 노이즈의 latent space를 변화시켜서 원하는 방향으로 결과 이미지를 조절할 수 있다는 것을 보여주었다.
기존의 데이터를 분석 및 분류하는 딥러닝을 넘어서 데이터를 만들고 조작하는 부분에서 GANe 높은 성능을 보여주어 다양한 분야에서 딥러닝이 활용될 수 있음을 보여주었다.
또한, 처음으로 그림 5와 같이 128×128 사이즈의 이미지를 만들어 내었으며, 당시의 GAN의 이미지 성능 중 가장 뛰어난 모습을 보여주었다.
생성된 이미지를 픽셀 단위로 판별하는 L1 loss 와 GAN 학습에 사용되는 loss를 함께 사용함으로써 이미지의 변환을 자연스럽게 할 수 있음을 보여주었다.
이러한 구조를 통하여 만든 이미지는 기존에 많은 시도를 했던 GAN보다 월등히 좋은 성능을 보여주었으며, 나아가 생성 신경망이 만들어 내는 이미지를 조절할 수 있음을 보여주었다.

후속연구

사람이 구분하기 힘들 정도의 성능으로 인하여 기술 악용에 대한 문제도 제기되고 있으며, 따라서 향후에는 지금보다 더 높은 해상도의 이미지를 GAN을 통해 만들어 내고 이를 실제 이미지와 구분하는 새로운 구조와 기술이 등장할 것이다.

참고문헌 (23)

Y. Jo et al., "SC-FEGAN: Face Editing Generative Adversarial Network with User's Sketch and Color," in CVPR, 2019.
T. Park et al., "Semantic Image Synthesis with Spatially-Adaptive Normalization," in CVPR, 2019.
I. Goodfellow et al., "Generative adversarial nets," in NIPS, 2014.
A. Radford et al., "Unsupervised Representation Learning With Deep Convolutional Generative Adversarial Networks," in ICLR, 2016.
D. Berthelot et al., "BEGAN: Boundary Equilibrium Generative Adversarial Networks," in arXiv, 2017.
P. Isola et al., "Image-to-Image Translation with Conditional Adversarial Nets," in CVPR, 2017.
Z. Liu et al., "Deep Learning Face Attributes in the Wild," in ICCV, 2015.
T. Karras et al., "Progressive Growing of GANs for Improved Quality, Stability, and Variation," in ICLR, 2018.
J. Zhao et al., "EBGAN: Energy-Based Generative Adversarial Networks," in ICLR, 2017.
T. R. Shaham et al., "SinGAN: Learning a Generative Model from a Single Natural Image," in ICCV, 2019.
T. Wang et al., "High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs," in CVPR, 2019.
W. Sun et al., "Image Synthesis From Reconfigurable Layout and Style," in ICCV, 2019.
Z. Bo et al., "Layout2image: Image Generation from Layout," in IJCV, 2020.
C. Ledig et al., "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network," in CVPR, 2017.
C. Dong et al., "Image Super-Resolution Using Deep Convolutional Networks," in TPAMI, 2015.
J. Yu et al., "Generative Image Inpainting with Contextual Attention," in CVPR, 2018.
J. Yu et al., "Free-Form Image Inpainting with Gated Convolution," in CVPR, 2019.
K. Nazeri et al., "EdgeConnect: Structure Guided Image Inpainting using Edge Prediction," in ICCVW, 2019.
T. Karras et al., "A Style-Based Generator Architecture for Generative Adversarial Networks," in CVPR, 2019.
X. Huang et al., "Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization," in ICCV, 2017.
T. Karras et al., "Analyzing and Improving the Image Quality of StyleGAN," in arXiv, 2019.
Y. Choi et al., "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation," in CVPR, 2018.
Y. Choi et al., "StarGAN v2: Diverse Image Synthesis for Multiple Domains," in CVPR, 2020.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증