[논문]아리랑 3/3A호 위성 융합영상의 Semantic Segmentation을 통한 활용 가능성 탐색 연구

채한성; 임희수; 이재관; 최진무

doi:10.7780/kjrs.2022.38.6.4.3

아리랑 3/3A호 위성 융합영상의 Semantic Segmentation을 통한 활용 가능성 탐색 연구
Exploratory Study of the Applicability of Kompsat 3/3A Satellite Pan-sharpened Imagery Using Semantic Segmentation Model 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.6 pt.4, 2022년, pp.1889 - 1900

채한성 (경희대학교 지리학과) , 임희수 (경희대학교 지리학과) , 이재관 (경희대학교 산학협력단) , 최진무 (경희대학교 지리학과)

초록
AI-Helper

도로는 현대사회의 기능이 물리적으로 작동하는 데 필수불가결한 요소이다. 교통상황정보에 비해 갱신 주기가 긴 도로공간 정보를 더 빠르고 정확하게 생성할 필요가 있다. 본 연구에서는 그 방법의 일환으로 아리랑 3호와 아리랑 3A호의 위성영상에 pan-sharpening 영상융합 기법을 적용하여 공간해상도를 향상시킨 영상자료를 최근 활발히 연구가 진행되고 있는 semantic segmentation 기법을 활용한 도로 추출에 활용하고자 하였다. 확보한 영상은 U-Net 기반의 segmentation 기법에 매사추세츠 도로데이터와 함께 투입하여 훈련하였고 아리랑 위성 융합영상의 모델 적용 가능성을 평가하였다. 훈련 및 검증 결과, 모델에 투입하는 영상에 대해 일정한 조건이 유지되는 한 일정한 모델 예측 성능을 유지하는 것으로 나타났다. 따라서 그림자와 지표면 상태와 같은 모델에 영향을 미치는 주변 환경 조건의 영향을 최소화하는 방법을 적용하여 풍부한 훈련자료를 구성한다면 아리랑위성과 같은 위성 영상의 활용 가능성이 더욱 높아질 것으로 기대된다.

Abstract ▼ AI-Helper

Roads are an essential factor in the physical functioning of modern society. The spatial information of the road has much longer update cycle than the traffic situation information, and it is necessary to generate the information faster and more accurately than now. In this study, as a way to achieve that goal, the Pan-sharpening technique was applied to satellite images of Kompsat 3 and 3A to improve spatial resolution. Then, the data were used for road extraction using the semantic segmentation technique, which has been actively researched recently. The acquired Kompsat 3/3A pan-sharpened images were trained by putting it into a U-Net based segmentation model along with Massachusetts road data, and the applicability of the images were evaluated. As a result of training and verification, it was found that the model prediction performance was maintained as long as certain conditions were maintained for the input image. Therefore, it is expected that the possibility of utilizing satellite images such as Kompsat satellite will be even higher if rich training data are constructed by applying a method that minimizes the impact of surrounding environmental conditions affecting models such as shadows and surface conditions.

주제어

표/그림 (9)

표 Table 1. KOMPSAT-3 and KOMPSAT-3A band wavelength and spatial resolution (ESA, 2022a; 2022b)
그림 Fig. 1. Kompsat3/3A images and road label image: (a) Philadelphia region and (b) LaSalle County region.
그림 Fig. 2. Training sample image and label data: (a) Massachusetts road data and (b) Kompsat-3A data.
표 Table 2. System specifications for model training
그림 Fig. 3. Good prediction images of Massachusetts road data: (a) original image, (b) label image, and (c) predicted image.
표 Table 3. Accuracy assessment of the model training results
그림 Fig. 4. Good prediction images of Philadelphia regions of KOMPSAT-3A image: (a) original image, (b) label image, and (c) predicted image.
그림 Fig. 5. Poor prediction images of Philadelphia regions of KOMPSAT-3A image: (a) original image, (b) label image, and (c) predicted image.
그림 Fig. 6. Poor prediction images of LaSalle regions of KOMPSAT-3 image: (a) original image, (b) label image, and (c) predicted image.

AI 본문요약
AI-Helper

문제 정의

따라서 본 연구에서는 pan-sharpening 기법을 적용하여 공간해상도를 향상시킨 아리랑 3호/3A호 위성영상을 semantic segmentation 모델에 사용하여 도로정보를 추출하고자 하였다. 이를 위해 아리랑 3호 및 3A호 위성영상에 대해 Gram-Schmidt 방법에 기반한 pansharpening 기법을 적용한 후 향상된 시각 정보의 구체성을 이용하여 도로 경계를 디지타이징(digitizing)하여 도로 라벨 데이터를 만들었다.
본 연구에서는 pan-sharpening 기법을 적용하여 공간해상도를 높인 위성영상을 semantic segmentation 모델에 입력하여 도로정보를 추출하는 데 사용할 수 있는지 파악하고자 하였다. 이를 위해 미국을 대상으로 촬영한 아리랑 3호 및 3A호 위성영상을 한국항공우주연구원으로부터 제공받았다.
본 연구에서는 도로의 위치와 상태 등에 대한 정보를 추출하기 위해 2.8 m 및 2.2 m의 공간해상도를 가진 아리랑 3호 및 3A호 위성영상에 pan-sharpening 기법을 적용한 융합영상에 대해 semantic segmentation 모델 활용 가능성을 평가하기 위해 도로정보를 추출하고 그 결과를 평가하였다. 이를 위해 일리노이 주 및 필라델피아 지역의 아리랑위성 3호 및 3A호 영상자료를 확보하였다.

대상 데이터

매사추세츠 도로 데이터에 구성된 총 1,171쌍의 데이터 중 1,108쌍의 훈련 데이터와 14쌍의 훈련 중 검증 데이터 그리고 49쌍의 훈련 후 검증 데이터는 아리랑 3호 및 3A호 위성영상을 가공하여 얻은 총 197쌍의 데이터를 155쌍의 훈련 데이터와 14쌍의 훈련 중 검증 데이터 그리고 28쌍의 데이터를 훈련 후 검증 데이터로 구분하여 함께 사용할 수 있도록 하였다. Fig.
이를 위해 아리랑 3호 및 3A호 위성영상에 대해 Gram-Schmidt 방법에 기반한 pansharpening 기법을 적용한 후 향상된 시각 정보의 구체성을 이용하여 도로 경계를 디지타이징(digitizing)하여 도로 라벨 데이터를 만들었다. 아리랑 위성 영상과 도로 라벨 데이터는 추가 데이터와 함께 U-Net 기반의 semantic segmentation 모델에 입력하여 훈련하였다. 훈련을 완료한 모델은 훈련에 사용하지 않은 자료에 대한 도로 예측자료를 생성하고 결과 평가 및 정확도 검증을 진행하였다.
아리랑위성 자료는 직접 디지타이징 방법을 사용해 도로 라벨 데이터로 구성하였다. 이 자료는 매사추세츠 도로데이터와 함께 U-Net 기반의 모델에 투입하여 훈련하였고 모델의 도로 예측 및 분류 데이터를 생성하였다. 훈련 중 달성된 모델의 최대 성능 지표인 mIoU 점수는 0.
본 연구에서는 pan-sharpening 기법을 적용하여 공간해상도를 높인 위성영상을 semantic segmentation 모델에 입력하여 도로정보를 추출하는 데 사용할 수 있는지 파악하고자 하였다. 이를 위해 미국을 대상으로 촬영한 아리랑 3호 및 3A호 위성영상을 한국항공우주연구원으로부터 제공받았다. 제공받은 영상 중 아리랑 3호의 영상은 일리노이 주 LaSalle 카운티 일대, 아리랑 3A호의 영상은 필라델피아 지역의 영상이다.
2 m의 공간해상도를 가진 아리랑 3호 및 3A호 위성영상에 pan-sharpening 기법을 적용한 융합영상에 대해 semantic segmentation 모델 활용 가능성을 평가하기 위해 도로정보를 추출하고 그 결과를 평가하였다. 이를 위해 일리노이 주 및 필라델피아 지역의 아리랑위성 3호 및 3A호 영상자료를 확보하였다. 아리랑위성 자료는 직접 디지타이징 방법을 사용해 도로 라벨 데이터로 구성하였다.
이를 위해 미국을 대상으로 촬영한 아리랑 3호 및 3A호 위성영상을 한국항공우주연구원으로부터 제공받았다. 제공받은 영상 중 아리랑 3호의 영상은 일리노이 주 LaSalle 카운티 일대, 아리랑 3A호의 영상은 필라델피아 지역의 영상이다.

데이터처리

아리랑 위성 영상과 도로 라벨 데이터는 추가 데이터와 함께 U-Net 기반의 semantic segmentation 모델에 입력하여 훈련하였다. 훈련을 완료한 모델은 훈련에 사용하지 않은 자료에 대한 도로 예측자료를 생성하고 결과 평가 및 정확도 검증을 진행하였다.

이론/모형

하지만 이는 국내 항공정사영상으로 제공되는 자료의 해상도에 해당하는 약 25 cm에서 51 cm 보다는 낮으며 이를 이용하여 도로의 윤곽을 정확히 구분하기 어려울 수 있다. 따라서 ArcMap에서 제공하는 Gram-Schmidt 방법에 따라 0.7 m 와 0.55 m로 공간해상도가 4배 높은 panchromatic 채널을 이용하여 pan-sharpening 과정을 진행하여 기존 RGB 밴드가 가지고 있던 분광 정보를 유지하면서도 공간해상도가 향상된 영상을 생성하였다.
아리랑 3호 및 3A호 위성 영상에 pan-sharpening 기법을 적용하고 semantic segmentation 모델을 이용하여 도로 정보를 추출한 결과는 다음과 같다. 본 연구에서는 U-Net 기반의 모델을 사용하여 약 1천여장의 훈련 및 검증데이터만을 가지고도 비교적 높은 모델 훈련 성능을 개인 사용자가 구성 가능한 환경에서 단기간(약 8시간)에 달성할 수 있었다.
따라서 본 연구에서는 pan-sharpening 기법을 적용하여 공간해상도를 향상시킨 아리랑 3호/3A호 위성영상을 semantic segmentation 모델에 사용하여 도로정보를 추출하고자 하였다. 이를 위해 아리랑 3호 및 3A호 위성영상에 대해 Gram-Schmidt 방법에 기반한 pansharpening 기법을 적용한 후 향상된 시각 정보의 구체성을 이용하여 도로 경계를 디지타이징(digitizing)하여 도로 라벨 데이터를 만들었다. 아리랑 위성 영상과 도로 라벨 데이터는 추가 데이터와 함께 U-Net 기반의 semantic segmentation 모델에 입력하여 훈련하였다.

성능/효과

아리랑 3호 및 3A호 위성 영상에 pan-sharpening 기법을 적용하고 semantic segmentation 모델을 이용하여 도로 정보를 추출한 결과는 다음과 같다. 본 연구에서는 U-Net 기반의 모델을 사용하여 약 1천여장의 훈련 및 검증데이터만을 가지고도 비교적 높은 모델 훈련 성능을 개인 사용자가 구성 가능한 환경에서 단기간(약 8시간)에 달성할 수 있었다. 훈련된 모델을 이용해 산출한 도로 예측 결과를 평가한 결과 위성의 광학 센서와 지표면 사이 각도가 일정 수준 이하인 nadir 지역에 해당하는 지역은 모델이 도로 피복의 특성을 충분히 학습하여 예측 정확도 역시 높았다.
8752로 나타났다. 전체 예측 결과에 대한 픽셀분류 정확도는 0.9622, F1 점수는 0.7537로 나타나 최적의 조건을 가진 자료를 충분히 구성하여 학습한 기존의 모델 정확도보다는 낮게 나타났다. 이는 모델의 결과물 예측 능력이 자료에 포함된 지표 피복 및 환경의 조건에 따라 크게 영향을 받기 때문인 것으로 보인다.
본 연구에서는 U-Net 기반의 모델을 사용하여 약 1천여장의 훈련 및 검증데이터만을 가지고도 비교적 높은 모델 훈련 성능을 개인 사용자가 구성 가능한 환경에서 단기간(약 8시간)에 달성할 수 있었다. 훈련된 모델을 이용해 산출한 도로 예측 결과를 평가한 결과 위성의 광학 센서와 지표면 사이 각도가 일정 수준 이하인 nadir 지역에 해당하는 지역은 모델이 도로 피복의 특성을 충분히 학습하여 예측 정확도 역시 높았다. 하지만 nadir 바깥에 해당하는 off-nadir 지역의 영상에서는 도로 윤곽에 대한 온전한 정보를 포함하기 어려우므로 정확한 결과를 기대하기 어려운 것으로 보이며 이 지역의 자료는 제외하거나 off-nadir로 인한 영향을 줄일 수 있는 방법을 고려해야 한다.

후속연구

5와 Fig. 6에서 확인한 바와 같이 기존에 주로 학습한 자료와 공간적 혹은 분광 특징이 다른 자료의 경우는 해당 자료의 특징을 효과적으로 예측하기 위해 보다 더 충분한 학습 데이터가 필요할 것으로 판단된다.
특히 도로를 구성하는 피복의 상태와, 주변 자연 및 인문 환경 조건은 다양할 수 있으므로 추후 이런 조건의 변화를 고려하고 그 영향을 최소화할 수 있도록 하는 자료 처리방법을 구성하거나 사용한다면 모델을 더욱 효과적으로 사용할 수 있다. 도로추출 뿐 아니라 다른 다양한 지표 피복 정보를 추출하고 사용하는 데에도 본 연구에서 제시한 방법을 활용한다면 저고도에서 지표면을 촬영한 항공사진과 동일한 수준의 공간 해상도를 달성하기 힘든 기존의 저해상도 다분광 위성 영상에 대해서도 그 정보의 활용성이 높아질 것으로 기대된다. 특히 아리랑3호 및 3A호 위성과 같이 이미 높은 수준의 공간해상도를 가지고 있는 자료의 경우 그 효과가 더 높게 나타날 수 있다.
특히 아리랑3호 및 3A호 위성과 같이 이미 높은 수준의 공간해상도를 가지고 있는 자료의 경우 그 효과가 더 높게 나타날 수 있다. 이를 통해 효율적인 데이터 구성과 모델의 훈련 등의 과정을 구성한다면 빠르고 정확하게 도로 등에 대한 공간 정보를 추출하여 도로공간정보 관리의 효율성을 더욱 높일 수 있을 것으로 기대된다.
이는 훈련에 투입한 일리노이 주 지역의 훈련 데이터가 부족할 뿐만 아니라 원본 영상 데이터의 픽셀 값 분포가 다른 자료와 달리 매우 낮은 값을 나타내고 있어 농경 평원 지대를 지나는 해당 지역 도로 피복의 독특한 분광 특성을 모델이 충분히 학습하지 못하였기 때문인 것으로 판단된다. 일리노이 주 지역의 훈련 데이터는 영상의 시인성 향상을 위해 대비 향상 작업이 진행되었음에도 예측 결과가 크게 향상되지 않았으며 추가적인 영상 처리 작업을 고안하거나 더 풍부한 훈련 자료를 투입해야 할 것으로 보인다.
본 연구에서 확인한 바와 같이 pan-sharpening 기법이 적용된 자료를 사용하더라도 훈련을 위한 자료를 구성한 후 semantic segmentation 모델에 투입하여 효과적으로 도로 피복에 대한 정보를 추출할 수 있다. 특히 도로를 구성하는 피복의 상태와, 주변 자연 및 인문 환경 조건은 다양할 수 있으므로 추후 이런 조건의 변화를 고려하고 그 영향을 최소화할 수 있도록 하는 자료 처리방법을 구성하거나 사용한다면 모델을 더욱 효과적으로 사용할 수 있다. 도로추출 뿐 아니라 다른 다양한 지표 피복 정보를 추출하고 사용하는 데에도 본 연구에서 제시한 방법을 활용한다면 저고도에서 지표면을 촬영한 항공사진과 동일한 수준의 공간 해상도를 달성하기 힘든 기존의 저해상도 다분광 위성 영상에 대해서도 그 정보의 활용성이 높아질 것으로 기대된다.

참고문헌 (19)

Abdollahi, A., B. Pradhan, G. Sharma, K.N.A. Maulud, and A. Alamri, 2021. Improving Road Semantic Segmentation Using Generative Adversarial Network, IEEE Access, 9: 64381-64392. https://doi.org/10.1109/ACCESS.2021.3075951

상세보기
Balraj, A., 2020. UNet (ResNet50 frontend) Road Segmentation PyTorch, https://www.kaggle.com/code/balraj98/unet-resnet50-frontend-roadsegmentation-pytorch, Accessed on Nov. 10, 2022.
Byun, Y.G., Y.K. Han, and T.B. Chae, 2011. Road Extraction from High Resolution Satellite Image Using Object-based Road Model, Korean Journal of Remote Sensing, 27(4): 421-433 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2011.27.4.421

원문보기 상세보기
ESA (European Space Agency), 2022a. KOMPSAT-3, https://www.eoportal.org/satellite-missions/kompsat3#eos-electro-optical-subsystem, Accessed on Nov. 10, 2022.
ESA (European Space Agency), 2022b. KOMPSAT-3A, https://www.eoportal.org/satellite-missions/kompsat3a#eop-quick-facts-section, Accessed on Nov. 10, 2022.
Kim, H.S. and K.H. Choi, 2022. A Framework of 3D Road Extraction and Update Using Drone Images, Journal of the Korea Academia-Industrial, 23(5): 572-579 (in Korean with English abstract). https://doi.org/10.5762/KAIS.2022.23.5.572

상세보기
Lee, D.H., J.H. Kim, and H.M. Choi, 2007. Histogram-based road border line extractor for road extraction from satellite imagery, Journal of the Institute of Electronics Engineers of Korea SP, 44(5): 27-34 (in Korean with English abstract).
Lee, H.J., K.J. Park, and C. Park, 2009. Analysis of Application and Economical Efficiency on Next Generation Digital Maps on Demand Updating System, Journal of the Korean Society for Geospatial Information Science, 17(2): 133-143 (in Korean with English abstract).
Lee, J.K., K.J. Lee, and S.H. Ju, 2008. Development of Digital Map On-demand Updating System, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 26(5): 537-546 (in Korean with English abstract).
Lee, K.M., S.Y. Go, K.M. Kim, and G.S. Cho, 2014. Extracting Method The New Roads by Using High-resolution Aerial Orthophotos, Journal of the Korean Society for Geospatial Information System, 22(3): 3-10 (in Korean with English abstract). https://doi.org/10.7319/kogsis.2014.22.3.003

원문보기 상세보기
Maxwell, A.E., T.A. Warner, and L.A. Guillen, 2021. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies-Part 2: Recommendations and Best Practices, Remote Sensing, 13(13): 2591. https://doi.org/10.3390/rs13132591

상세보기
Ministry of Government Legislation, 2021. Road Act, https://elaw.klri.re.kr/kor_service/lawView.do?hseq49884&langENG, Accessed on Nov. 10, 2022.
Mnih, V., 2013. Machine Learning for Aerial Image Labeling, University of Toronto, Toronto, ON, Canada.
Oh, H.Y., S.B. Jeon, G. Kim, and M.H. Jeong, 2022. Road Extraction from Images Using Semantic Segmentation Algorithm, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 40(3): 237-247 (in Korean with English abstract). https://doi.org/10.7848/ksgpc.2022.40.3.239

원문보기 상세보기
Park, S.J., J.H. Han, and S.M. Young, 2020. Efficient Deep Neural Network Architecture based on Semantic Segmentation for Paved Road Detection, Journal of the Korea Institute of Information and Communication Engineering, 24(11): 1437-1444 (in Korean with English abstract). https://doi.org/10.6109/jkiice.2020.24.11.1437

원문보기 상세보기
Ronneberger, O., P. Fischer, and T. Brox, 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation, Proc. of Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, Munich, Germany, Oct. 5-9. vol. 9351, pp. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28
Tan, J.H., M. Gao, K. Yang, and T. Duan, 2021. Remote Sensing Road Extraction by Road Segmentation Network, Applied Science, 11(11): 5050. https://doi.org/10.3390/app11115050

상세보기
Wang, G., C. Ma, and X. Liang, 2022. Application of Road Extraction from High-Resolution Remote Sensing Images in Tourism Navigation and GIS, Wireless Communications and Mobile Computing, 2022: 1-8. https://doi.org/10.1155/2022/2422030

상세보기
Zhang, Z.X., Q.J. Liu, and Y.H. Wang, 2018. Road Extraction by Deep Residual U-Net, IEEE Geoscience and Remote Sensing Letters, 15(5): 749-753. https://doi.org/10.1109/LGRS.2018.2802944

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증