[논문]딥러닝과 그래프 모델을 활용한 고해상도 영상의 건물 변화탐지

박슬아; 송아람

doi:10.7848/ksgpc.2022.40.3.227

딥러닝과 그래프 모델을 활용한 고해상도 영상의 건물 변화탐지
Building change detection in high spatial resolution images using deep learning and graph model 원문보기

한국측량학회지 = Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, v.40 no.3, 2022년, pp.227 - 237

박슬아 (Institute of Engineering Research, Seoul National University) , 송아람 (Department of Location-Based Information System, Kyungpook National University)

초록
AI-Helper

다시기 고해상도 영상에 존재하는 건물의 위치 및 형태학적 왜곡은 건물의 변화탐지를 어렵게 만드는 요인 중 하나이다. 이를 해결하기 위하여 부가적인 3차원 지형정보 및 딥러닝을 활용한 연구가 수행되고 있지만, 실제 사례에 적용되기 어려운 한계가 있다. 본 연구에서는 건물의 효율적인 변화탐지를 수행하기 위하여, 건물의 위치 정보뿐만 아니라 건물 간 위상정보를 활용하는 방안을 제시한다. 다양한 비연직 영상에서의 건물을 학습하기 위하여 SpaceNet v2 데이터셋을 사용하여 Mask R-CNN (Region-based Convolutional Neural Network)을 학습하였으며, 건물 객체를 탐지하여 중심점을 노드로 추출하였다. 추출한 건물 노드를 중심으로 서로 다른 두 시기에 대해 각각 TIN (Triangulated Irregular Network) 그래프들을 형성하고, 두 그래프 간 구조적 차이가 발생한 영역에 기반하여 변화 건물을 추출하기 위해 그래프 유사도와 노드의 위치 차이를 반영한 변화 지수를 제안하였다. 최종적으로 변화 지숫값을 기반으로 두 그래프 간 비교를 통해 새롭게 생성되거나 삭제된 건물을 탐지하였다. 총 3쌍의 테스트 영역에 대해 제안한 기법을 적용한 결과, 건물들 간 연결성의 변화를 고려함으로써 기복 변위에 의해 서로 다른 시기간 동일 건물 쌍을 판단하기 어려운 경우에도 변화가 발생한 건물을 적절하게 탐지하는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

The most critical factors for detecting changes in very high-resolution satellite images are building positional inconsistencies and relief displacements caused by satellite side-view. To resolve the above problems, additional processing using a digital elevation model and deep learning approach have been proposed. Unfortunately, these approaches are not sufficiently effective in solving these problems. This study proposed a change detection method that considers both positional and topology information of buildings. Mask R-CNN (Region-based Convolutional Neural Network) was trained on a SpaceNet building detection v2 dataset, and the central points of each building were extracted as building nodes. Then, triangulated irregular network graphs were created on building nodes from temporal images. To extract the area, where there is a structural difference between two graphs, a change index reflecting the similarity of the graphs and differences in the location of building nodes was proposed. Finally, newly changed or deleted buildings were detected by comparing the two graphs. Three pairs of test sites were selected to evaluate the proposed method's effectiveness, and the results showed that changed buildings were detected in the case of side-view satellite images with building positional inconsistencies.

주제어

표/그림 (17)

그림 Fig. 1. The proposed change detection framework
그림 Fig. 2. The Mask R-CNN framework for instance segmentation (He et al., 2017)
그림 Fig. 3. Building detection result and center point using Mask R-CNN (a) input image, (b) result image (the white dots represent the central points of each bounding box)
그림 Fig. 4. Illustrative example of calculating change index with two graph models
그림 Fig. 5. Satellite image and label of SpaceNet datasets in (a) Paris, (b) Shanghai
그림 Fig. 6. Multi-temporal satellite images and labels of (a) site1, (b) site2, (c) site3
그림 Fig. 7. Losses of the Mask R-CNN for (a) training and (b) validation. The model was trained on SpaceNet v2 dataset
표 Table 1. Data types of SpaceNet v2 (Prathap and Afanasyev, 2018)
그림 Fig. 8. Building detection results in SpaceNet validation images (a) Paris and (b) Shanghai
그림 Fig. 9. Building detection results in S2Looking multitemporal images in (a) site1, (b) site2, (c) site3
그림 Fig. 10. The results of graph model on site2
그림 Fig. 11. Node extraction results in site 1 (a) before changes (time A), (b) after changes (time B). Background images of each node extraction result represent images acquired at different times.
표 Table 2. Confusion matrix of the building change detection in site 1
그림 Fig. 12. Node extraction results in site 2 (a) before changes (time A), (b) after changes (time B). Background images of each node extraction result represent images acquired at different times.
그림 Fig. 13. Node extraction results in site 3 (a) before changes (time A), (b) after changes (time B). Background images of each node extraction result represent images acquired at different times.
표 Table 3. Confusion matrix of the building change detection in site 2
표 Table 4. Confusion matrix of the building change detection in site 3

참고문헌 (19)

Chen, J., Yuan, Z., Peng, J., Chen, L., Huang, H., Zhu, J., and Li, H. (2020), DASNet: Dual attentive fully convolutional siamese networks for change detection in high-resolution satellite images, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 14, pp. 1194-1206. https://doi.org/10.48550/arXiv.2003.03608.
Chen, H., Zhang, K., Xiao, W., Sheng, Y., Cheng, L., Zhou, W., Wang, P., Su, Do., Ye, L., and Zhang, S. (2021), Building change detection in very high-resolution remote sensing image based on pseudo-orthorectification, International Journal of Remote Sensing, Vol. 42, No. 7, pp. 2686-2705. https://doi.org/10.1080/01431161.2020.1862437.

상세보기
Deng, C., Yuan, X., Deng, L., and Chen, J. (2020), Detecting matching blunders of multi-source remote sensing images via graph theory, Sensors, Vol. 20, No. 13, 3712. https://doi.org/10.3390/s20133712.

상세보기
Gong, J., Hu, X., Pang, S., and Wei, Y. (2019), Roof-cut guided localization for building change detection from imagery and footprint map, Photogrammetric Engineering and Remote Sensing, Vol. 85, No. 8, pp. 543-558. https://doi.org/10.14358/PERS.85.8.543.

상세보기
He, K., Gkioxari, G., Dollar, P., and Girshick, R. (2017), Mask R-CNN, In Proceedings of the IEEE International Conference On Computer Vision, 22-29 October 2017, Honolulu, HI, USA, pp. 2980-2988. https://doi.org/10.1109/ICCV.2017.322.
Jiang, H., Hu, X., Li, K., Zhang, J., Gong, J., and Zhang, M. (2020), PGA-SiamNet: Pyramid feature-based attention-guided siamese network for remote sensing orthoimagery building change detection, Remote Sensing, Vol. 12, No. 3, 484. https://doi.org/10.3390/rs12030484.

상세보기
Kim, J. and Yu, K. (2012), Automatic detection of the updating object by a real feature matching based on shape similarity, Journal of the Korean Society of Survey, Geodesy, Photogrammetry, and Cartography, Vol. 30, No. 1, pp.59-65. (in Korean with English abstract) https://doi.org/10.7848/ksgpc.2012.30.1.059.

원문보기 상세보기
Li, L., Wang, C., Zhang, H., Zhang, B., and Wu, F. (2019), Urban building change detection in SAR images using combined differential image and residual u-net network, Remote Sensing, Vol. 11, No. 9, 1091. https://doi.org/10.3390/rs11091091.

상세보기
Mo, J. S., Seong, S. K., and Choi, J. W. (2021), Change detection of building objects in urban area by using transfer learning, Korean Journal of Remote Sensing, Vol. 37, No. 6_1, pp. 1685-1695. (in Korean with English abstract) https://doi.org/10.7780/kjrs.2021.37.6.1.16.

원문보기 상세보기
Peng, D., Zhang, Y., and Guan, H. (2019), End-to-end change detection for high resolution satellite images using improved UNet++, Remote Sensing, Vol. 11, No. 11, 1382. https://doi.org/10.3390/rs11111382.

상세보기
Prathap, G., and Afanasyev, I. (2018), Deep learning approach for building detection in satellite multispectral imagery, International Conference on Intelligent Systems, 25-27 September, Wroclaw, Poland, pp. 461-465.
Ren, S., He, K., Girshick, R., and Sun, J. (2015), Faster R-CNN: Towards real-time object detection with region proposal networks, Advances in neural information processing systems, Vol. 28. https://doi.org/10.48550/arXiv.1506.01497.
Shen, L., Lu, Y., Chen, H., Wei, H., Xie, D., Yue, J., Chen, R., Lv, S., and Jiang, B. (2021), S2Looking: A Satellite side-looking dataset for building change detection, Remote Sensing, Vol. 13, No. 24, 5094. https://doi.org/10.3390/rs1010000.

상세보기
Shin, D., Kim, T., Han, Y., Kim, S., and Park, J. (2019), Change detection of building demolition area using UAV, Korean Journal of Remote Sensing, Vol. 35, No. 5_2, pp. 819-829. (in Korean with English abstract) https://doi.org/10.7780/kjrs.2019.35.5.2.6.

원문보기 상세보기
Sun, Y., Zhang, X., Huang, J., Wang, H., and Xin, Q. (2020), Fine-grained building change detection from very high-spatial-resolution remote sensing images based on deep multitask learning, IEEE Geoscience and Remote Sensing Letters, Vol. 19, pp. 1-5. https://doi.org/10.1109/LGRS.2020.3018858.

상세보기
Qin, R., Tian, J., and Reinartz, P. (2016), 3D change detection-approaches and applications, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 122, pp. 41-56. https://doi.org/10.1016/j.isprsjprs.2016.09.013.

상세보기
Van Etten, A., Lindenbaum, D., and Bacastow, T. M. (2018), Spacenet: A remote sensing dataset and challenge series, arXiv preprint arXiv:1807.01232. https://doi.org/10.48550/arXiv.1807.01232.
Varol, B., Yilmaz, E. O., Maktav, D., Bayburt, S., and Gurdal, S. (2019), Detection of illegal constructions in urban cities: Comparing LIDAR data and stereo KOMPSAT-3 images with development plans, European Journal of Remote Sensing, Vol. 52, No. 1, pp. 335-344. https://doi.org/10.1080/22797254.2019.1604082.

상세보기
Wu, J., Li, B., Qin, Y., Ni, W., and Zhang, H. (2021), An object-based graph model for unsupervised change detection in high resolution remote sensing images, International Journal of Remote Sensing, Vol. 42, No. 16, pp. 6209-6227. https://doi.org/10.1080/01431161.2021.1937372.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증