[논문]이미지 생성을 위해 노이즈를 이용한 GAN 시스템

배상중; 김민규; 정회경

doi:10.6109/jkiice.2020.24.6.700

이미지 생성을 위해 노이즈를 이용한 GAN 시스템
GAN System Using Noise for Image Generation 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.6, 2020년, pp.700 - 705

배상중 (Department of Computer Engineering, Paichai University) , 김민규 (Department of Computer Engineering, Paichai University) , 정회경 (Department of Computer Engineering, Paichai University)

초록
AI-Helper

생성적 적대 신경망(GAN, Generative Adversarial Network)은 두 개의 신경망을 대립하여 이미지를 생성하는 방법이다. 이미지를 생성할 때 랜덤으로 생성한 노이즈를 재배열하여 이미지를 생성하는데 이러한 방법으로 생성된 이미지는 노이즈에 따라 생성이 잘 이루어지지 않고, 이미지의 픽셀이 적은 경우 제대로 된 이미지를 생성하기 어렵다는 문제점이 발생할 수 있다. 또한 데이터 분류에서 데이터가 쌓이는 속도와 크기가 증가되는데 이들을 라벨링하는 데는 많은 어려움이 있다. 본 논문에서는 이를 해결하기 위해 랜덤으로 생성하던 노이즈에 실제 데이터를 사용하여 노이즈를 생성하고 이를 기반으로 이미지를 생성하는 기법을 제안한다. 제안하는 시스템은 기존에 있는 이미지를 기반으로 하는 이미지를 생성하는 것이므로 좀 더 자연스러운 이미지의 생성이 가능하다는 것을 확인하였고 이를 학습에 이용할 경우 기존의 생성적 적대 신경망을 사용한 방법보다 더 높은 적중률을 보임을 확인하였다.

Abstract ▼ AI-Helper

Generative adversarial networks are methods of generating images by opposing two neural networks. When generating the image, randomly generated noise is rearranged to generate the image. The image generated by this method is not generated well depending on the noise, and it is difficult to generate a proper image when the number of pixels of the image is small In addition, the speed and size of data accumulation in data classification increases, and there are many difficulties in labeling them. In this paper, to solve this problem, we propose a technique to generate noise based on random noise using real data. Since the proposed system generates an image based on the existing image, it is confirmed that it is possible to generate a more natural image, and if it is used for learning, it shows a higher hit rate than the existing method using the hostile neural network respectively.

주제어

표/그림 (6)

그림 Fig. 1 Structure Diagram of the Proposed System
그림 Fig. 2 System Flowchat
그림 Fig. 3 GAN with Noise Control Flowchart
그림 Fig. 4 Generated Image Using Noise Control
그림 Fig. 5 Learning Process
그림 Fig. 6 Classification Accuracy Using Generated Image

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

GANe생성적 적대 신경망이라는 이름처럼 두 개의 신경망의 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 신경망 모델은 ‘생성자(Generator)’와 ‘판별자(Discriminator)’로 불리며 생성자는 실제에 가까운 거짓 데이터를 생성하는 것이 목표로 판별자는 생성자가 생성한 거짓 데이터를 밝혀내는 것을 목적으로 한다. 식 (1)은 GAN에 대한 식을 나타낸다.
이러한 문제점을 바탕으로 본 논문에서는 노이즈를 제어하는 생성적 적대 신경망을 제안한다. 노이즈는 실제 사진을 바탕으로 설정하되 어느 정도 이미지의 정확도에 따라 어느 정도 차이를 주며 이를 재배치하여 생성자가 이미지를 생성할 수 있도록 한다.
이를 해결하기 위해 본 논문에서는 기존의 생성적 적대 신경망에 노이즈를 제어하는 기법을 제안하였다. 노이즈를 제어함으로서의 이점은 생성된 이미지의 품질을 유지할 수 있다는 점과, 생성된 이미지를 다시 학습에 사용하여도 정확도가 상승한다는 이점을 얻을 수 있었다.
이를 해결하기 위해 본 논문에서는 랜덤으로 생성하였던 노이즈를 제어하여 이미지를 생성하는 기법을 제안한다. 실제 이미지를 기반으로 생성한 노이즈를 사용하여 생성되는 이미지의 품질을 보장하였고 노이즈를 통하여 생성된 이미지를 통해 학습을 진행하였을 경우 기존의 생성적 적대 신경망에 비해 높은 정확도를 보이는 것을 확인하였다.

제안 방법

GANe생성적 적대 신경망이라는 이름처럼 두 개의 신경망의 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 신경망 모델은 ‘생성자(Generator)’와 ‘판별자(Discriminator)’로 불리며 생성자는 실제에 가까운 거짓 데이터를 생성하는 것이 목표로 판별자는 생성자가 생성한 거짓 데이터를 밝혀내는 것을 목적으로 한다.
노이즈 생성기는 입력 이미지를 기반으로 하는 노이즈를 생성해낸다. 네트워크에는 생성적 적대 신경망의 생성자 네트워크와 판별자 네트워크가 있으며 그 이외에도 이미지를 구분하기 위한 신경망을 따로 구축하였다. 생성자 네트워크는 노이즈를 입력받아 이미지를 생성하는 일을 수행하고 판별자 네트워크는 생성자와 대립하면서 생성자가 생성한 이미지를 검증한다.
노이즈 제어를 사용한 방법을 구현하고 그 결과를 확인한다. 노이즈 컨트롤을 사용한 경우와 사용하지 않은 경우를 비교하고 제안한 시스템의 성능을 검증한다.
노이즈 컨트롤을 사용한 경우와 사용하지 않은 경우를 비교하고 제안한 시스템의 성능을 검증한다.
또한 빠른 학습을 위해 GPU를 사용하기 위하여 CUDA 10.0을 설치하였으며 Juypter Notebook에서 Python3.5를 사용하여 시스템을 구현하였다.
네트워크에는 생성적 적대 신경망의 생성자 네트워크와 판별자 네트워크가 있으며 그 이외에도 이미지를 구분하기 위한 신경망을 따로 구축하였다. 생성자 네트워크는 노이즈를 입력받아 이미지를 생성하는 일을 수행하고 판별자 네트워크는 생성자와 대립하면서 생성자가 생성한 이미지를 검증한다. 이미지 분류네트워크는 일반적인 생성된 이미 판별 값을 주 출력 단계에서는 코드로 이루어진 이미지를 파일로 만들어 저장하는 역할을 진행한다.
흐름도이다. 주어진 레이블이 있는 이미지를 사용하여 GAN을 학습시킨다. 학습이 끝난 GAN의 판별자를 이용하여 레이블이 없는 이미지를 기반으로 하여 이미지를 생성한다.
주어진 레이블이 있는 이미지를 사용하여 GAN을 학습시킨다. 학습이 끝난 GAN의 판별자를 이용하여 레이블이 없는 이미지를 기반으로 하여 이미지를 생성한다. 생성된 이미지는 다시 판별자를 통해 이미지를 판별하고 이 이미지가 처음 판별된 결과와 같다면 이 이미지에 대해 GAN을 학습하고 다르다면 이미지를 생성하지 못했기 때문에 버리고 다음 에포크를 진행하여 새로운 이미지를 생성한다.

대상 데이터

먼저 입력 데이터는 Cifar-10을 사용하였다. Cifar-10 데이터 셋은 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭이라는 총 10개의 레이블로 이루어진 컬러 이미지이며 각각의 레이블마다 32*32 크기의 훈련 이미지 5000장 1000장의 테스트 이미지로 구성되어 있다. 전처리는 이미지 전처리와 노이즈 생성기로 구분되어 있다.
먼저 입력 데이터는 Cifar-10을 사용하였다. Cifar-10 데이터 셋은 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭이라는 총 10개의 레이블로 이루어진 컬러 이미지이며 각각의 레이블마다 32*32 크기의 훈련 이미지 5000장 1000장의 테스트 이미지로 구성되어 있다.
그림 5는 학습과정을 나타낸다. 학습은 클래스별 이미지 1000장씩 넣어서 총 10000장을 사용하여 진행하였다. 한 번의 반복이 진행될 때 마다 판별자 학습, 노이즈 생성, 생성자 학습을 진행하고 생성자는 다시 각 클래스별 1000장의 이미지를 생성해 내어 구분기를 통하여 생성이 제대로 이루어진 이미지만을 저장한다.

성능/효과

노이즈를 제어함으로서의 이점은 생성된 이미지의 품질을 유지할 수 있다는 점과, 생성된 이미지를 다시 학습에 사용하여도 정확도가 상승한다는 이점을 얻을 수 있었다. 구현에서 보았듯이 노이즈 제어를 사용한 경우가 사용하지 않은 경우보다 더 품질이 좋은 이미지를 생성하였고 이를 다시 학습에 이용하더라도 기존의 시스템보다 약 14%의 성능 향상시킬 수 있다는 결론을 내릴 수 있었다. 이는 영상 합성이나 영상 복원, 영상 교체에서 주로 사용하였던 기존의 생성적 적대 신경망을 노이즈컨트롤을 추가함으로서 데이터 양이 적은 경우, 특히 데이터의 생성되는 데이터의 양은 많으나 이를 전부 라벨링을 하기 힘든 최근의 경우 제안한 방법을 사용하는 것으로 라벨링은 물론이고 이를 학습에 사용할 수 있다는 점에서 많은 이점을 볼 수 있을 것으로 사료된다.
노이즈를 제어함으로서의 이점은 생성된 이미지의 품질을 유지할 수 있다는 점과, 생성된 이미지를 다시 학습에 사용하여도 정확도가 상승한다는 이점을 얻을 수 있었다. 구현에서 보았듯이 노이즈 제어를 사용한 경우가 사용하지 않은 경우보다 더 품질이 좋은 이미지를 생성하였고 이를 다시 학습에 이용하더라도 기존의 시스템보다 약 14%의 성능 향상시킬 수 있다는 결론을 내릴 수 있었다.
기존의 생성적 적대 신경망으로 생성한 이미지를 학습시켰을 경우 약 35%, 노이즈 컨트롤을 사용하여 생성된 이미지를 학습시켰을 경우 약 49%의 정확도를 보인 것을 알 수 있다. 두 가지의 방법을 비교해본다면 14%이상의 차이를 보이는 것을 알 수 있으며 이는 제안하는 방법을 학습 데이터가 적은 경우에 사용한다면 데이터의 양을 늘리기 위해 사용하였던 기존의 생성적 적대 신경망보다 더 좋은 성능을 보였다는 점을 알 수 있다. 이는 제안한 시스템이 생성된 이미지의 기초가 실제 이미지에서 기반이 되었고 이를 사용하여 생성된 이미지의 품질이 기존의 방식보다 뛰어난것으로 판단된다.
실제 이미지를 기반으로 생성한 노이즈를 사용하여 생성되는 이미지의 품질을 보장하였고 노이즈를 통하여 생성된 이미지를 통해 학습을 진행하였을 경우 기존의 생성적 적대 신경망에 비해 높은 정확도를 보이는 것을 확인하였다.
구현에서 보았듯이 노이즈 제어를 사용한 경우가 사용하지 않은 경우보다 더 품질이 좋은 이미지를 생성하였고 이를 다시 학습에 이용하더라도 기존의 시스템보다 약 14%의 성능 향상시킬 수 있다는 결론을 내릴 수 있었다. 이는 영상 합성이나 영상 복원, 영상 교체에서 주로 사용하였던 기존의 생성적 적대 신경망을 노이즈컨트롤을 추가함으로서 데이터 양이 적은 경우, 특히 데이터의 생성되는 데이터의 양은 많으나 이를 전부 라벨링을 하기 힘든 최근의 경우 제안한 방법을 사용하는 것으로 라벨링은 물론이고 이를 학습에 사용할 수 있다는 점에서 많은 이점을 볼 수 있을 것으로 사료된다.
두 가지의 방법을 비교해본다면 14%이상의 차이를 보이는 것을 알 수 있으며 이는 제안하는 방법을 학습 데이터가 적은 경우에 사용한다면 데이터의 양을 늘리기 위해 사용하였던 기존의 생성적 적대 신경망보다 더 좋은 성능을 보였다는 점을 알 수 있다. 이는 제안한 시스템이 생성된 이미지의 기초가 실제 이미지에서 기반이 되었고 이를 사용하여 생성된 이미지의 품질이 기존의 방식보다 뛰어난것으로 판단된다.

후속연구

향후 연구는 라벨링의 정확도를 높이는 방안에 대해 연구 및 다른 종류의 GAN을 활용한 연구를 지속해야 할 것이다.

참고문헌 (10)

K. T. Kim, W. Lee, E. U. Cha, M. Y. Sin, and J. U. Kim, "The way to make training data for deep learning model to recognize keywords in product catalog image at E-commerce," Journal of Korea Intelligent Information Systems Society, vol. 24, 1-23, 2018.
I. H. Lee, "Outage Analysis and Power Allocation for Distributed Space-Time Coding-Based Cooperative Systems over Rayleigh Fading Channels," Journal of Information and Communication Convergence Engineering, vol. 15, no. 1, pp. 21-27, Mar. 2017.

원문보기 상세보기
A. Suryadibrata, and K.B. Kim, "Ganglion Cyst Region Extraction from Ultrasound Images Using Possibilistic C-Means Clustering Method," Journal of Information and Communication Convergence Engineering, vol. 15, no. 1, pp. 49-52, Mar. 2017.

원문보기 상세보기
D. Kim, J. G. Joung, K.A.Sohn, and H. Shin, "Knowledge boosting:A graph-based integration approach with multi-omics data and genomic knowledge for cancer clinical outcome prediction," Journal of the American Medical Informatics Association, vol. 22, no. 1, pp.109-120, 2015.

상세보기
Y. J. Jeon and Y. W. Cho, "An Implementation of Othello Game Player Using ANN based Records Learning and Minimax Search Algorithm," Journal of the Korean Institute of Electrical Engineers, vol. 67, no. 12, pp. 1657-1664, 2018.
A. Radford, L. Metz, and S. Chintala, "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks," Cornell University, 2016.
Y. Han and H. J. Kim, "Face Morphing Using Generative Adversarial Networks," Journal of Digital Contents Society, vol. 19, no. 3, pp. 435-443, 2018.
I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, and D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio, "Generative Adversarial Networks," Cornell University, 2016.
M. S. Ko, H. K. Roh, and K. H. Lee, "GANMOOK: Generative adversarial network to stylize images like ink wash painting," in Proceedings of the Korea Computer Congress, pp. 793-795, 2017.
L. C. Yang, S. Y. Chou, Y. H. Yang, "MidiNet:A convolutional generative adversarial network for symbolic domain music generation," in Proceeding sof the 18th International Society of Music Information Retrieval Conference, pp. 324-331, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증