[논문]A Study on GAN Algorithm for Restoration of Cultural Property (pagoda)

Yoon, Jin-Hyun; Lee, Byong-Kwon; Kim, Byung-Wan

doi:10.9708/jksci.2021.26.01.077

A Study on GAN Algorithm for Restoration of Cultural Property (pagoda) 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.1, 2021년, pp.77 - 84

Yoon, Jin-Hyun (Dept. of Multimedia, Seowon University) , Lee, Byong-Kwon (Dept. of Multimedia, Seowon University) , Kim, Byung-Wan (Dept. of Multimedia, Seowon University)

초록
AI-Helper

오늘날 문화재 복원은, 기존 자료와 전문가에 의존하는 것과 더불어 최신 IT 기술을 적용하여 복원하고 있다. 하지만 새로운 자료가 나와서 기존 복원이 틀리게 되는 경우, 복원하는데 너무 오랜 시간이 걸릴 때도 있다. 그리고 예상과 다른 결과가 나올 가능성도 있다. 이에 우리는 중요 문화재의 복원을 인공지능을 이용하여 빠르게 복원을 해 보고자 한다. 최근에 Generative Adversarial Networks(GANs) 알고리즘에서 DcGAN[2] 알고리즘이 나오면서 이미지 생성, 복원 분야가 지속해서 발전하고 있다. 이에 본 연구에서는 다양한 GAN 알고리즘을 문화재 복원에 GAN 알고리즘을 적용해 보았다. DcGAN과 StyleGAN을 적용하였으며, 유의미한 결과를 얻었다. GAN 알고리즘 중 DCGAN과 Style GAN 알고리즘을 실험한 결과 DCGAN 알고리즘은 학습이 진행되었으며, 낮은 해상도로 탑 이미지가 생성되는 것을 확인했다. 그리고 Style GAN 알고리즘에서도 역시 학습이 진행 되었으며, 탑 이미지가 생성되었다. 결론적으로 GAN 알고리즘을 사용하여 높은 해상도의 탑 이미지를 구할 수 있게 되었다.

Abstract ▼ AI-Helper

Today, the restoration of cultural properties is done by applying the latest IT technology from relying on existing data and experts. However, there are cases where new data are released and the original restoration is incorrect. Also, sometimes it takes too long to restore. And there is a possibility that the results will be different than expected. Therefore, we aim to quickly restore cultural properties using DeepLearning. Recently, so the algorithm DcGAN made in GANs algorithm, and image creation, restoring sectors are constantly evolving. We try to find the optimal GAN algorithm for the restoration of cultural properties among various GAN algorithms. Because the GAN algorithm is used in various fields. In the field of restoring cultural properties, it will show that it can be applied in practice by obtaining meaningful results. As a result of experimenting with the DCGAN and Style GAN algorithms among the GAN algorithms, it was confirmed that the DCGAN algorithm generates a top image with a low resolution.

주제어

표/그림 (20)

그림 Fig. 1. GAN Result Image
그림 Fig. 2. Direction of GAN development
그림 Fig. 3. MinMax algorithm
그림 Fig. 4. BEGAN Architecture
그림 Fig. 5. Style-based generator
표 Table 1. The performance(FID score) of the model in the different configurations compared to ProGAN. The lower score the better the model.
표 Table 2. feature of StyleGAN
표 Table 3. Configuration of test environment
그림 Fig. 6. GPU usage rate for artificial intelligence learning
그림 Fig. 7. training data
그림 Fig. 8. Incorrect DcGAN result
그림 Fig. 9. Modified training data
그림 Fig. 10. Procedure for creating training data
그림 Fig. 11. DCGAN LAYER
표 Table 4. Architecture guideline for stable Deep Convolutional GANs
그림 Fig. 12. DCGAN Generator and Discriminator Source
그림 Fig. 13. DCGAN Result
그림 Fig. 14. Generator and Discriminator Loss During Training
그림 Fig. 15. Training times required for images with various resolution compared against no. of GPUs used.
그림 Fig. 16. StyleGAN Result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 문화재 복원을 위한 실제 GAN 알고리즘을 실행할 수 있는 개발 환경을 구축하고, GAN 알고리즘을 실행하여 향후 GAN 알고리즘으로 문화재 복원을 할 수 있다는 발전 방향을 모색하고자 한다. 2절에서는 관련 기술에 관한 연구와 3절에서는 GAN 알고리즘 소개와 결과 및 개선 방향을 도출하고, 4절에서는 문제점을 분석하고 향후 발전 방향을 제시하고자 한다.
이에 메모리를 제약하는 프로그램을 작성하여 다시 한번 해상도가 높은 GAN 알고리즘을 테스트해 보겠다. 전체가 안 된다면 이미지를 블록화해서 부분으로 복원하는 방법 역시 연구가 필요하다.

제안 방법

지도학습(Supervised Learning)에 Convolutional Neural Network (CNN)[1] 을 적용하였으며, 이렇게 학습한 Discriminator가 다른 비지도 학습 알고리즘들과 비등한 수준의 이미지 분류 성능이다. DCGAN[1]에서 성능검증을 위해 Feature Extractor로 실험을 진행하였다. Discriminator는 입력 이미지의 특징을 파악할 수 있는 필터가 학습되는데 특징을 얼마나 잘 학습했는지 알아보는 방법의 하나는 필터들을 이용해 지도학습을 진행한 결과를 보는 것이라고 한다.
Style GANe PGGAN의 문제점을 해결하는 방법을 제시하였다.
본 연구에서 GAN 알고리즘의 학습을 통하여 탑 복원을 시도하였다. 탑을 복원하기 위해서는 정확하고 충분한 훈련 데이터 이미지가 필요하지만 본 연구에서는 충분하지 못한 것을 알 수 있다.
탑 복원을 위해서 GAN 알고리즘 중에 DCGAN과 Style GAN 알고리즘을 실험해 보았다. 실험 결과 학습률중 Loss율이 5% 미만으로 떨어지면서 학습이 되는 것을 알 수 있다.

대상 데이터

표본 데이터는 AI hub[5]의 한국형 사물 이미지 ai 데이터 센터에서 구축한 문화재 이미지를 이용하여 복원을 시도하겠다. Fig.

이론/모형

EBGAN[12]을 베이스로 하고 Watterstein distance[13] 를 사용하였으며, 모델 구조를 단순화하고 이미지 다양성과 품질 간 trade-off를 조절하는 방법 또한 알아냈다고 한다. 학습 방법은 Discriminator를 AutoEncoder[18]로 만들어서, 실제 이미지와 가짜 이미지를 Discriminator에 넣어 pixel-wise reconstruction loss를 구하여, 실제 데이터 분포가 아닌 reconsruction loss를 학습시키는 방법이다.
기존 GAN에 Convolutional 구조를 적용하였다. 지도학습(Supervised Learning)에 Convolutional Neural Network (CNN)[1] 을 적용하였으며, 이렇게 학습한 Discriminator가 다른 비지도 학습 알고리즘들과 비등한 수준의 이미지 분류 성능이다.
본 연구에서는 앞에서 제시한 DcGAN[1], StyleGAN[2] 의 2개의 알고리즘을 선정하여 문화재 복원을 위한 실험을 진행했다. Table 3은 시험을 위한 개발 환경설정이다.
지도학습(Supervised Learning)에 Convolutional Neural Network (CNN)[1] 을 적용하였으며, 이렇게 학습한 Discriminator가 다른 비지도 학습 알고리즘들과 비등한 수준의 이미지 분류 성능이다. DCGAN[1]에서 성능검증을 위해 Feature Extractor로 실험을 진행하였다.

성능/효과

실험 결과 학습률중 Loss율이 5% 미만으로 떨어지면서 학습이 되는 것을 알 수 있다. 또한 결과 역시 DCGAN 알고리즘에서는 낮은 해상도로 탑 이미지가 생성되는 것을 확인하였다. 해상도는 낮았지만 3층탑, 4층탑은 구별되게 생성이 되었다.
Table 3은 시험을 위한 개발 환경설정이다. 문화재 복원을 이한 인공지능 학습데이터는 학습 수 260개와 학습시간 80시간 이상이 소요됐으며, Fig. 6을 보면 프로그램이 GPU의 CUDA 영역을 사용하여 점유율을 90% 이상 사용하는 것을 알 수 있다.
본 연구에서는 훈련 데이터가 크지 않아 오래 걸리지 않으리라고 생각했지만, 3 일차에 메모리 부족으로 중간 결과를 얻을 수 있었다. 결과는 Fig.
알고리즘을 실험해 보았다. 실험 결과 학습률중 Loss율이 5% 미만으로 떨어지면서 학습이 되는 것을 알 수 있다. 또한 결과 역시 DCGAN 알고리즘에서는 낮은 해상도로 탑 이미지가 생성되는 것을 확인하였다.
탑을 복원하기 위해서는 정확하고 충분한 훈련 데이터 이미지가 필요하지만 본 연구에서는 충분하지 못한 것을 알 수 있다. 따라서 정확한 훈련 데이터를 만들기 위한 연구 역시 필요하다.
이처럼 GAN알고리즘은 일반 PC에서도 알고리즘을 실행하여 학습과 결과를 확인할 수 있다. 하지만 좋은 성능을 위해서는 시간과 높은 성능의 GPU가 필요하다는 것을 알 수 있었다.

후속연구

향후 연구과제로 인공지능 학습데이터를 늘리기위해 필요한 정확한 이미지를 자동으로 만들어 주는 프로그램과 시스템 성능을 개선해 학습 속도 개선과 결과의 정확도를 높이는 연구가 진행되어야 할 것으로 사료 된다.

참고문헌 (21)

Alec Radford, Luke Metz, Soumith Chintala "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks", conference paper at ICLR 2016, 2016
Tero Karras, Samuli Laine, Timo Aila, "A Style-Based Generator Architecture for Generative Adversarial Networks" Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 4401-4410
David Berthelot, Thomas Schumm, Luke Metz, "BEGAN:Boundary Equilibrium Generative Adversarial Networks" arXiv:1703.10717, 2017
Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen, "Progressive Growing of GANs for Improved Quality, Stability,and Variation", arXiv:1710.10196, 2018
AIHUB, https://aihub.or.kr
Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu, "Semantic Image Synthesis with Spatially-Adaptive Normalization", arXiv:1903.07291, 2019
Andrew Brock, Jeff Donahue, Karen Simonyan, "Large Scale GAN Training for High Fidelity Natural Image Synthesis", arXiv:1809.11096, 2018
Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo, "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 8789-8797, 2017
Z. Zhang, Y. Song, and H. Qi, "Age progression/regression by conditional adversarial autoencoder", In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017
Mehdi Mirza, Simon Osindero, "Conditional Generative Adversarial Nets", Computer Science, 2014
Yunjey Choi, Youngjung Uh, Jung-Woo Ha, "StarGAN v2:Diverse Image Synthesis for Multiple Domains", Computer Science 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020
Junbo Zhao, Michael Mathieu, Yann LeCun, "Energy-basedGenerative Adversarial Network", arXiv preprint arXiv:1609.03126, 2016.
Soheil Kolouri, Kimia Nadjahi, Umut Simsekli, Roland Badeau, Gustavo Rohde, "Generalized Sliced Wasserstein Distances", Advances in Neural Information Processing Systems 32 (NeurIPS 2019), 2019
X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, and P. Abbeel. "InfoGAN: interpretable representation learning by information maximizing generative adversarial nets.", CoRR, abs/1606.03657, 2016
V. Dumoulin, J. Shlens, and M. Kudlur. "A learned representation for artistic style.", CoRR, abs/1610.07629, 2016.
L. A. Gatys, A. S. Ecker, and M. Bethge. "Image style transferusing convolutional neural networks.", In Proc. CVPR, 2016
D. P. Kingma and M. Welling. "Auto-encoding variational bayes.", In ICLR, 2014
M. Lucic, K. Kurach, M. Michalski, S. Gelly, and O. Bousquet. "Are GANs created equal? a large-scale study. CoRR", abs/1711.10337, 2017.
T. Miyato and M. Koyama. "cGANs with projection discriminator.", CoRR, abs/1802.05637, 2018
T. Miyato, T. Kataoka, M. Koyama, and Y. Yoshida. Spectral, "normalization for generative adversarial networks.", CoRR, abs/1802.05957, 2018.
M. Marchesi. "Megapixel size image creation using generative adversarial networks.", CoRR, abs/1706.00082, 2017

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증