[논문]딥러닝 기반 이미지 아웃페인팅 기술의 현황 및 최신 동향

김경훈; 공경보; 강석주

doi:10.5909/jbe.2021.26.1.61

딥러닝 기반 이미지 아웃페인팅 기술의 현황 및 최신 동향
A Review on Deep Learning-based Image Outpainting 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.1, 2021년, pp.61 - 69

김경훈 (서강대학교 전자공학과) , 공경보 (포항공과대학교) , 강석주 (서강대학교 전자공학과)

초록
AI-Helper

이미지 아웃페인팅은 이미지의 맥락을 고려하여 주어진 이미지의 외부를 지속적으로 채울 수 있다는 점에서 매우 흥미로운 문제이다. 이 작업에는 두 가지 주요 과제가 있다. 첫 번째는 생성된 영역의 내용과 원래 입력의 공간적 일관성을 유지하는 것이다. 두 번째는 적은 양의 인접 정보로 고품질의 큰 이미지를 생성하는 것이다. 기존의 이미지 아웃페인팅 방법은 일관되지 않고 흐릿하며 반복되는 픽셀을 생성하는 등 어려움을 겪고 있다. 하지만 최근 딥러닝 기술의 발달에 힘입어 기존의 전통적인 기법들에 비해 높은 성능을 보여주고 있는 알고리즘들이 소개되었다. 딥러닝 기반 아웃 페인팅은 현재까지도 다양한 네트워크가 제안되며 활발히 연구되고 있다. 본 논문에서는 아웃 페인팅 분야의 최신 기술 현황 및 동향을 소개하고자 한다. 딥러닝 기반의 아웃페인팅 알고리즘 중 대표적인 네트워크들을 분석하고 다양한 데이터 셋과 비교 방법을 통한 실험 결과를 보여줌으로써 최근 기법들을 비교하고자 한다.

Abstract ▼ AI-Helper

Image outpainting is a very interesting problem in that it can continuously fill the outside of a given image by considering the context of the image. There are two main challenges in this work. The first is to maintain the spatial consistency of the content of the generated area and the original input. The second is to generate high quality large image with a small amount of adjacent information. Existing image outpainting methods have difficulties such as generating inconsistent, blurry, and repetitive pixels. However, thanks to the recent development of deep learning technology, deep learning-based algorithms that show high performance compared to existing traditional techniques have been introduced. Deep learning-based image outpainting has been actively researched with various networks proposed until now. In this paper, we would like to introduce the latest technology and trends in the field of outpainting. This study compared recent techniques by analyzing representative networks among deep learning-based outpainting algorithms and showed experimental results through various data sets and comparison methods.

주제어

표/그림 (10)

그림 그림 1. 이미지 완성 분야의 예 Fig. 1. image completion field example
그림 그림 2. Lizuza et al.^[6]: 네트워크 구조 Fig. 2. Lizuza et al.^[6]: overall network
그림 그림 3. Jiahui et al.^[8]: 네트워크 구조 Fig. 3. Jiahui et al.^[8]: overall network
그림 그림 5. Zhang et al.^[16]: 네트워크 구조 설명. (a)는 네트워크 통합 학습. (b)는 구조 생성기의 자세한 구조 Fig. 5. Zhang et al.^[16]: Illustration of network architecture. (a) is the joint training pipeline of network. (b) is the detailed structure of structure generator
그림 그림 4. Teterwak et al.^[14] : RCT (Recurrent Content Transfer) Fig. 4. Teterwak et al.^[14] : RCT (Recurrent Content Transfer)
그림 그림 7. Kim et al.^[19]: 네트워크의 전체 아키텍처. 모델은 에지 맵 생성 네트워크와 이미지 완성 네트워크의 두 부분으로 구성 Fig. 7. Kim et al.^[19]: Overall architecture of network. model comprises two parts: an edge map generation network and an image completion network
그림 그림 6. Zhang et al.^[16]: 적응형 컨볼루션 구조 Fig. 6. Zhang et al.^[16]: Scheme of adaptive filling convolution
그림 그림 8. 정성정 결과 비교표 Fig. 8. qualitative result
표 표 1. SUN dataset^[20] 에서의 정량적 결과 비교. Inception Score (IS)^[22], PSNR과 SSIM은 높을수록 좋으며, Frénchet Inception Distance FID^[23]과 BRISQUE^[21]은 낮을수록 좋음. 평가 데이터셋의 IS 는 3.479. Table 1. Quantitative results for models on SUN dataset^[20]. Evaluation of Inception Score (IS)^[22] , PSNR and SSIM(the higher, the better), Frénchet Inception Distance FID^[23] and BRISQUE^[21] (the lower, the better). Images from the validation set had an IS of 3.479.
표 표 2. beach 데이터셋에 대한 성능 비교 Table 2. Performance on beach dataset

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본논문에서는인공지능기술, data-checked="false">특히심층학습을이용한이미지아웃페인팅알고리즘기술현황및동향에대해살 펴보았다. data-checked="false">다양한크기의디스플레이시장이커지고그에따라기존의영상컨텐츠를다양한디스플레이크기에맞 추려는리타겟팅기술의필요성이꾸준히제기되고있으나 아직기존의리타겟팅기술로는영상크기를더넓은디스 플레이크기에맞추는부분에서여전히어려움을겪고있 다.
(c) 와같이입력영상의바깥영역을생성해내는방법이다. 생성된출력영상은공간적, 인지적으로 자연스러운 영상을 생성하는 것을 목표로한다. 생성하고자 하는 영역의 인접 정보가 전 방향으로존재하는인페인팅분야와는달리, data-checked="false">아웃페인팅은입력영상으로부터의인접정보가한방향으로만존재한다.
이번장에서는대표적인딥러닝기반의이미지아웃 페인팅 알고리즘 기술들에 대해 자세히살펴보고자한다. 먼저가장최초로딥러닝기반의GANs 알고리즘을 적용한 사례인 Image-Outpainting^[13]에대해알아보겠다.
이번장에서는딥러닝기반이미지아웃페인팅 알고리즘을 평가할 때 널리 쓰이는데이터셋인SUN^[20], Beach^[24]에대한출력영상의결과를살펴보고자한다. data-checked="false">정량적평가방법으로는영상의화질을평가하는대표적인평가매트릭 인 PSNR(Peak Signal-to-Noise Ratio)과SSIM(Structural SIMilarity)과GAN을평가하는대표적인평가매트릭인 IS(Inception Score)^[22]와FID(Frénchet Inception Distance)^[23], 그리고No-reference image quality assessment(IQA) 메트릭중하나인BRISQUE^[21] 를사용하여출력영상의자연스러움을 평가하였다.

제안 방법

^[19]은양방향경계영역재배열을사용한새로운이미지아웃페인팅방법을제안했다. data-checked="false">이는자연영상에대한아웃페인팅작업시이미지의양끝이유사하다 는사실을이용하여아웃페인팅보다처리가쉬운이미지 인페인팅으로문제를변형하여문제해결을시도했다. data-checked="false">양방향경계영역재배열은이미지인페인팅작업과유사한 양방향정보를이용하여누락된영역을생성할수있도록하여, 단방향정보를 사용하는 기존방식보다 높은 품질의이미지를생성할 수 있다.
먼저가장최초로딥러닝기반의GANs 알고리즘을 적용한 사례인 Image-Outpainting^[13]에대해알아보겠다. data-checked="false">이후이미지아웃페인팅에적절한네트워크를설계한Outpainting-srn^[15] 알고리즘과siamese 네트워크를활용한알고리즘^[16], data-checked="false">기존인페인팅네트워크를활용하여성능을크게높인POAI^[19] 알고리즘에대해소개하겠다.
data-checked="false">정량적평가방법으로는영상의화질을평가하는대표적인평가매트릭 인 PSNR(Peak Signal-to-Noise Ratio)과SSIM(Structural SIMilarity)과GAN을평가하는대표적인평가매트릭인 IS(Inception Score)^[22]와FID(Frénchet Inception Distance)^[23], 그리고No-reference image quality assessment(IQA) 메트릭중하나인BRISQUE^[21] 를사용하여출력영상의자연스러움을 평가하였다.
^[6]eGANs 기반의방법으로서, data-checked="false">generator를통하여생성된영상을두개의discriminator를사용하여영상 을학습하는방법을사용하였다. 두discriminator 중 하나는 Global discriminator로 출력된 전체영상에대하여진위여부를판별하는네트워크이며, 다른하나는Local dis- criminator로unknown region에 대한 출력 영상에 대해서 만진 위여부를판별하였다. 이를통해, 전체적인영상의 context와복원된영역에해당하는생성된영상의질을높 일수 있었다.
data-checked="false">양방향경계영역재배열은이미지인페인팅작업과유사한 양방향정보를이용하여누락된영역을생성할수있도록하여, 단방향정보를 사용하는 기존방식보다 높은 품질의이미지를생성할 수 있다. 또한, data-checked="false">이미지를구조정보가포함된원본입력으로간주하고미지영역의가장자리를 복원하여이미지를생성하는Edge Map 생성기를 사용하였다.
data-checked="false">따라서인코더는알려지지않은콘텐츠를추론할수있고디코더의 추론부담을완화하는효과를가져온다. 또한, 인코더의추론능력을강화하기위해Siamese adversarial data-checked="false">mechanism을설계하여먼거리의특징분포를알려지지않은이미지특 징분포에모델링할수있도록한다.
먼저가장최초로딥러닝기반의GANs 알고리즘을 적용한 사례인 Image-Outpainting^[13]에대해알아보겠다. data-checked="false">이후이미지아웃페인팅에적절한네트워크를설계한Outpainting-srn^[15] 알고리즘과siamese 네트워크를활용한알고리즘^[16], data-checked="false">기존인페인팅네트워크를활용하여성능을크게높인POAI^[19] 알고리즘에대해소개하겠다.

이론/모형

Lizuza et al.^[6]eGANs 기반의방법으로서, data-checked="false">generator를통하여생성된영상을두개의discriminator를사용하여영상 을학습하는방법을사용하였다. 두discriminator 중 하나는 Global discriminator로 출력된 전체영상에대하여진위여부를판별하는네트워크이며, 다른하나는Local dis- criminator로unknown region에 대한 출력 영상에 대해서 만진 위여부를판별하였다.

참고문헌 (24)

Ballester, C., Bertalmio, M., Caselles, V., Sapiro, G., & Verdera, J. (2001). Filling-in by joint interpolation of vector fields and gray levels. IEEE transactions on image processing, 10(8), 1200-1211.

상세보기
Marcelo Bertalmio, Guillermo Sapiro, Vincent Caselles, and Coloma Ballester. Image inpainting. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pages 417-424. ACM Press/AddisonWesley Publishing Co., 2000.
Alexei A Efros and William T Freeman. Image quilting for texture synthesis and transfer. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques, pages 341-346. ACM, 2001
Alexei A Efros and Thomas K Leung. Texture synthesis by non-parametric sampling. In Proceedings of the seventh IEEE international conference on computer vision, volume 2, pages 1033-1038. IEEE, 1999
Goodfellow, Ian and Pouget-Abadie, Jean and Mirza, Mehdi and Xu, Bing and Warde-Farley, David and Ozair, Sherjil and Courville, Aaron and Bengio, Yoshua. Generative adversarial nets. In Advances in neural information processing systems, pages 2672-2680, 2014.
Iizuka, Satoshi, Edgar Simo-Serra, and Hiroshi Ishikawa. "Globally and locally consistent image completion." ACM Transactions on Graphics (ToG) 36.4 (2017): 1-14.
Liu, Guilin, et al. "Image inpainting for irregular holes using partial convolutions." Proceedings of the European Conference on Computer Vision (ECCV). 2018.
Yu, Jiahui, et al. "Generative image inpainting with contextual attention." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
Johannes Kopf, Wolf Kienzle, Steven Drucker, and Sing Bing Kang. Quality prediction for image completion. ACM Transactions on Graphics (TOG), 31(6):131, 2012.
Josef Sivic, Biliana Kaneva, Antonio Torralba, Shai Avidan, and William T Freeman. Creating and exploring a large photorealistic virtual space. 2008.
Miao Wang, Yu-Kun Lai, Yuan Liang, Ralph R. Martin, and Shi-Min Hu. Biggerpicture: Data-driven image extrapolation using graph matching. ACM Trans. Graph., 33(6):173:1-173:13, Nov. 2014.
Yinda Zhang, Jianxiong Xiao, James Hays, and Ping Tan. Framebreak: Dramatic image extrapolation by guided shiftmaps. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1171-1178, 2013.
Yang, Zongxin, et al. "Very Long Natural Scenery Image Prediction by Outpainting." Proceedings of the IEEE International Conference on Computer Vision. 2019.
Teterwak, Piotr and Sarna, Aaron and Krishnan, Dilip and Maschinot, Aaron and Belanger, David and Liu, Ce and Freeman, William T. Boundless: Generative adversarial networks for image extension. In Proceedings of the IEEE International Conference on Computer Vision, pages 10521-10530, 2019.
Yi Wang, Xin Tao, Xiaoyong Shen, and Jiaya Jia. Wide context semantic image extrapolation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1399-1408, 2019.
Zhang, X., Chen, F., Wang, C., Tao, M., & Jiang, G. P. (2020). Sienet: Siamese expansion network for image extrapolation. IEEE Signal Processing Letters, 27, 1590-1594.

상세보기
Gatys, Leon A and Ecker, Alexander S and Bethge, Matthias. Image style transfer using convolutional neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2414-2423, 2016.
Johnson, Justin and Alahi, Alexandre and Fei-Fei, Li. Perceptual losses for real-time style transfer and superresolution. In European conference on computer vision, pages 694-711. Springer, 2016.
Kim, K., Yun, Y., Kang, K. W., Kong, K., Lee, S., & Kang, S. J. (2021). Painting Outside As Inside: Edge Guided Image Outpainting via Bidirectional Rearrangement With Progressive Step Learning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 2122-2130).
Xiao, Jianxiong and Hays, James and Ehinger, Krista A and Oliva, Aude and Torralba, Antonio. Sun database: Largescale scene recognition from abbey to zoo. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 3485-3492. IEEE, 2010.
Anish Mittal, Anush Krishna Moorthy, and Alan Conrad Bovik. No-reference image quality assessment in the spatial domain. IEEE Transactions on image processing, 21(12):4695-4708, 2012.

상세보기
Salimans, Tim and Goodfellow, Ian and Zaremba, Wojciech and Cheung, Vicki and Radford, Alec and Chen, Xi. Improved techniques for training gans. In Advances in neural information processing systems, pages 2234-2242, 2016.
Heusel, Martin and Ramsauer, Hubert and Unterthiner, Thomas and Nessler, Bernhard and Hochreiter, Sepp. Gans trained by a two time-scale update rule converge to a local nash equilibrium. In Advances in neural information processing systems, pages 6626-6637, 2017.
Mark Sabini and Gili Rusak. Painting outside the box: Image out-painting with gans. arXiv preprint arXiv:1808.08483, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증