$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 다양한 크기의 식별자를 적용한 Cycle GAN을 이용한 다목적실용위성 5호 SAR 영상 색상 구현 방법
The Method for Colorizing SAR Images of Kompsat-5 Using Cycle GAN with Multi-scale Discriminators 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.34 no.6 pt.3, 2018년, pp.1415 - 1425  

구원회 (과학기술연합대학원대학교 항공우주시스템공학과) ,  정대원 (과학기술연합대학원대학교 항공우주시스템공학과)

초록
AI-Helper 아이콘AI-Helper

다목적실용위성 5호는 국내 최초로 영상레이더(SAR)가 탑재된 지구관측위성이다. SAR 영상은 위성에 부착된 안테나로부터 방사된 마이크로파가 물체로부터 반사된 신호를 수신하여 생성된다. SAR는 대기 중의 입자의 크기에 비해 파장이 긴 마이크로파를 사용하기 때문에 구름이나 안개 등을 투과할 수 있으며, 주야간 구분 없이 고해상도의 영상을 얻을 수 있다. 하지만, SAR 영상에는 색상 정보가 부재하는 제한점이 존재한다. 이러한 SAR 영상의 제한점을 극복하기 위해, 도메인 변환을 위해 개발된 딥러닝 모델인 Cycle GAN을 활용하여 SAR 영상에 색상을 대입하는 연구를 수행하였다. Cycle GAN은 unpaired 데이터셋 기반의 무감독 학습으로 인해 학습이 불안정하다. 따라서 Cycle GAN의 학습 불안정성을 해소하고, 색상 구현의 성능을 향상하기 위해 다중 크기 식별자를 적용한 MS Cycle GAN을 제안하였다. MS Cycle GAN과 Cycle GAN의 색상 구현 성능을 비교하기 위하여 두 모델이 Florida 데이터셋을 학습하여 생성한 영상을 정성적 및 정량적으로 비교하였다. 다양한 크기의 식별자가 도입된 MS Cycle GAN은 기존의 Cycle GAN과 비교하여 학습 결과에서 생성자 및 식별자 손실이 대폭 감소되었고, 나뭇잎, 강, 토지 등의 영역 특성에 부합하는 색상이 구현되는 것을 확인하였다.

Abstract AI-Helper 아이콘AI-Helper

Kompsat-5 is the first Earth Observation Satellite which is equipped with an SAR in Korea. SAR images are generated by receiving signals reflected from an object by microwaves emitted from a SAR antenna. Because the wavelengths of microwaves are longer than the size of particles in the atmosphere, i...

주제어

표/그림 (10)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 이러한 Cycle GAN의 한계점을 극복하기 위한 대안으로 다양한 크기의 식별자를 적용하였다. 다양한 크기의 식별자는 기존 연구에서 GAN의 학습 불안정성과 생성 영상의 해상도 향상에 효과가 있음이 증명되었으며, 본 논문에서는 다중 크기의 식별자 적용한 Cycle GAN을 MS Cycle GAN을 제안하였다.
  • Cycle GAN은 unpaired 데이터셋을 기반의 색상 구현을 위한 학습 과정이 무감독 학습으로 수행되면서 학습이 불안정한 문제점이 발생한다. 따라서 본 논문에서는 기존 GAN의 학습 불안정성을 해소하고 SAR 영상에서 광학 영상으로 도메인 변환을 통해 SAR 영상에 색상을 구현하기 위해 다중 식별자를 Cycle GAN에 도입하여 MS Cycle GAN을 제안하였다.
  • , 2017). 따라서 본 장에서는 SAR 영상에서 광학 영상으로 도메인 변환을 수행할 때 발생하는 Cycle GAN의 학습 불안정을 해소하기 위해 GAN의 학습 불안정성을 해소하려는 목적으로 수행되었던 다중 식별자(Durugkar et al., 2017) 및 다양한 크기의 식별자(Wang et al., 2016)를 Cycle GAN에 적용하여 SAR 영상의 색상 구현을 위한 딥러닝 모델인 MS(Multi-Scale) Cycle GAN을 제안하였다. MS Cycle GAN의 개략적인 구성도는 Fig.
  • 앞서 언급한 사전 연구에서는 사용자가 정의한 색상의 개수로만 표현할 수 있거나, 입력 영상에 대한 라벨 영상이 존재하는 paired 데이터셋 기반으로만 모델의 학습이 가능했던 한계점이 존재하였다. 이러한 기존 연구의 한계점을 해소하기 위해서 본 논문에서는 unpaired 데이터셋 기반으로 무감독 학습(Unsupervised Learning)이 가능한 Cycle GAN(Zhu et al., 2017)을 이용하여 SAR 영상에 색상을 구현하는 연구를 수행하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
SAR를 탑재한 위성으로 얻은 데이터의 문제점은? SAR를 탑재한 위성은 전천후 주야간 구분 없이 고해상도 영상을 얻을 수 있다. 하지만, SAR 데이터는 입사 및 반사 전자파 간의 관계를 기반으로 계산되고 대상의 산란 메커니즘에 따라 달라지기 때문에 SAR 데이터 자체는 대상의 색상에 관한 정보를 포함하지 않는다(Argenti et al., 2012).
국내에서 최초로 SAR가 탑재된 지구관측위성은 무엇인가? 국내에서 최초로 SAR가 탑재된 지구관측위성은 한국항공우주연구원에서 2013년 8월 22일일에 발사되고 이후 운영하는 다목적 실용위성 5호이다. 다목적실용위성 5호는 하루 네 번 한반도를 관측할 수 있으며 공공안전, 재난 재해 예측, 국토 자원관리, 환경감시 등 다양한 분야에서 활용되고 있다.
GAN은 무엇인가요? GAN(Goodfellow et al., 2014)은 실제 데이터의 확률밀도 값을 알 수 없을 때 발생하는 최대우도 추정의 한계를 적대적 학습(Adversarial Training)을 통해 우회한 생성형 모델(Generative Model)의 새로운 프레임워크이다(Goodfellow et al., 2014).
질의응답 정보가 도움이 되었나요?

참고문헌 (19)

  1. Argenti, F., A. Lapini, T. Bianchi, and L. Alparone, 2013. A tutorial on speckle reduction in synthetic aperture radar images, IEEE Geoscience and remote sensing magazine, 1(3): 6-35. 

  2. Deng, Q., Y. Chen, W. Zhang, and J. Yang, 2008. Colorization for Polarimetric SAR image based on scattering mechanisms, Proc. of 2008 Congress on Image and Signal Processing, Las Vegas, NV, Mar. 30-Apr. 4, vol. 1, pp. 697-701. 

  3. Durugkar, I., I. Gemp and S. Mahadevan, 2016. Generative multi-adversarial networks, arXiv preprint arXiv:1611.01673. 

  4. Goodfellow, I., J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farely, S. Ozaire, A. Courvile, and Y. Bengio, 2014. Generative Adversarial Nets, Proc. of 2014 Advances in Neural Information Processing Systems, Montreal, Quebec, Dec. 8-13, vol. 1, pp. 2672-2680. 

  5. Goodfellow, I., 2016. NIPS 2016 tutorial: Generative adversarial networks, arXiv preprint arXiv: 1701.00160. 

  6. Google, 2018. https://lp.google-mkto.com/Google-imagery.html, Accessed on Dec. 12, 2018. 

  7. He, K., X. Zhang, S. Ren, and J. Sun, 2016. Deep residual learning for image recognition, Proc. of 2016 International Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, Jun. 26-Jul. 1, vol. 1, pp. 770-778. 

  8. Kala, Z., K. Mikolajczyk, and J. Matas, 2010. Forwardbackward error: Automatic detection of tracking failures, Proc. of 2010 International Conference on Pattern Recognition, Istanbul, Turkey, Aug. 23-Aug. 26, vol. 1, pp. 2756-2759. 

  9. LeCun, Y., 1998. The MNIST database of handwritten digits, http://yann.lecun.com/exdb/mnist/, Accessed on Nov. 29, 2018. 

  10. Mirza, M. and O. Simon, 2014. Conditional generative adversarial nets, arXiv preprint arXiv:1411.1784. 

  11. NASA, 2013. https://eospso.nasa.gov/missions/seasat-1, Accessed on Oct. 30, 2018. 

  12. Xudong, M., H. Xie, R. Lau, Z. Wang, and S. P. Smolley, 2017. Proc. of 2017 International Conference on Computer Vision and Pattern Recognition, Honolulu, HI, Jul. 22-Jul. 25, vol. 1, pp. 2812-2821. 

  13. Isola, P., J. Zhu, T. Zhou, and A. A. Efros, 2017. Imageto-Image Translation with Conditional Adversarial Networks, Proc. of 2017 International Conference on Computer Vision and Pattern Recognition, Honolulu, HI, Jul. 22-Jul. 25, vol. 1, pp. 5967-5976. 

  14. Radford, A., L. Metz, and S. Chintala, 2015. Unsupervised representation learning with deep convolutional generative adversarial networks, arXiv preprint arXiv:1511.06434. 

  15. Song, Q., F. Xu, and Y. Jin, 2018. Radar Image Colorization: Converting Single-Polarization to Fully Polarimetric Using Deep Neural Networks, IEEE Access, 6: 1647-1661. 

  16. Space-Track, 2013. https://www.space-track.org/#catalog, Accessed on Nov. 29, 2018. 

  17. Sundaram, N., T. Brox, and K. Keutzer, 2010. Dense point trajectories by GPU-accelerated large displacement optical flow, Proc. of 2010 European conference on Computer Vision, Heraklion, Greece, Sep. 5-Sep. 11, vol. 1, pp. 438-451. 

  18. Wang, T. C., M. Y. Liu, J. Y. Zhu, A. Tao, J. Kautz, and B. Cantanzaro, 2017. High-resolution image synthesis and semantic manipulation with conditional gans, arXiv preprint arXiv: 1711.11585. 

  19. Zhu, J. Y., T. Park, P. Isola, and A. A. Efros, 2017. Unpaired Image-to- Image Translation using Cycle-Consistent Adversarial Networks, Proc. of 2017 International Conference on Computer Vision, Venice, Italy, Oct. 22-Oct. 29, vol. 1, pp. 2242-2251. 

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로