재난재해 분야 드론 자료 활용을 위한 준 실시간 드론 영상 전처리 시스템 구축에 관한 연구 A Study on the Construction of Near-Real Time Drone Image Preprocessing System to use Drone Data in Disaster Monitoring원문보기
최근 전 지구적인 기후변화에 따른 자연재해 피해의 대규모화로 인하여 재해 모니터링과 방재 등 재난재해 분야에서 원격탐사 기술을 적용한 시스템이 구축되고 있다. 다양한 원격탐사 플랫폼 중 드론은 기술의 확산 발전으로 민간분야에서도 활발하게 활용되고 있으며, 적시성, 경제성 등의 장점으로 재난재해 분야에서의 적용이 증대되고 있다. 본 논문은 이러한 드론 기반의 재난재해 모니터링 시스템 구축의 요소 기술인, 준 실시간으로 드론 영상자료를 매핑할 수 있는 전처리 시스템 개발에 관한 것이다. 연구를 위해 컴퓨터 비전 기술 중 SURF 알고리즘을 기반으로 레퍼런스 영상과 촬영 영상 간 특징점 매칭을 통해 보정하는 시스템을 구축하였다. 연구 대상 지역은 가화강 하류 지역과 대청댐 유역으로 선정하였으며, 두 지역은 매칭을 위한 특징점이 많고 적음의 차이가 뚜렷하여 다양한 환경에서 시스템 적용 가능성을 위한 실험에 적합하다. 연구결과 두 지역의 기하보정 정확도가 0.6m와 1.7m로 각각 나타났으며 처리시간 또한 1장당 30초 내외로 나타났다. 이는 적시성을 요하는 재난재해 분야에서 본 연구의 적용 가능성이 높음을 시사한다. 그러나 레퍼런스 영상이 없거나 정확도가 낮은 경우는 보정 결과가 떨어지는 한계점이 있다.
최근 전 지구적인 기후변화에 따른 자연재해 피해의 대규모화로 인하여 재해 모니터링과 방재 등 재난재해 분야에서 원격탐사 기술을 적용한 시스템이 구축되고 있다. 다양한 원격탐사 플랫폼 중 드론은 기술의 확산 발전으로 민간분야에서도 활발하게 활용되고 있으며, 적시성, 경제성 등의 장점으로 재난재해 분야에서의 적용이 증대되고 있다. 본 논문은 이러한 드론 기반의 재난재해 모니터링 시스템 구축의 요소 기술인, 준 실시간으로 드론 영상자료를 매핑할 수 있는 전처리 시스템 개발에 관한 것이다. 연구를 위해 컴퓨터 비전 기술 중 SURF 알고리즘을 기반으로 레퍼런스 영상과 촬영 영상 간 특징점 매칭을 통해 보정하는 시스템을 구축하였다. 연구 대상 지역은 가화강 하류 지역과 대청댐 유역으로 선정하였으며, 두 지역은 매칭을 위한 특징점이 많고 적음의 차이가 뚜렷하여 다양한 환경에서 시스템 적용 가능성을 위한 실험에 적합하다. 연구결과 두 지역의 기하보정 정확도가 0.6m와 1.7m로 각각 나타났으며 처리시간 또한 1장당 30초 내외로 나타났다. 이는 적시성을 요하는 재난재해 분야에서 본 연구의 적용 가능성이 높음을 시사한다. 그러나 레퍼런스 영상이 없거나 정확도가 낮은 경우는 보정 결과가 떨어지는 한계점이 있다.
Recently, due to the large-scale damage of natural disasters caused by global climate change, a monitoring system applying remote sensing technology is being constructed in disaster areas. Among remote sensing platforms, the drone has been actively used in the private sector due to recent technologi...
Recently, due to the large-scale damage of natural disasters caused by global climate change, a monitoring system applying remote sensing technology is being constructed in disaster areas. Among remote sensing platforms, the drone has been actively used in the private sector due to recent technological developments, and has been applied in the disaster areas owing to advantages such as timeliness and economical efficiency. This paper deals with the development of a preprocessing system that can map the drone image data in a near-real time manner as a basis for constructing the disaster monitoring system using the drones. For the research purpose, our system is based on the SURF algorithm which is one of the computer vision technologies. This system aims to performs the desired correction through the feature point matching technique between reference images and shot images. The study area is selected as the lower part of the Gahwa River and the Daecheong dam basin. The former area has many characteristic points for matching whereas the latter area has a relatively low number of difference, so it is possible to effectively test whether the system can be applied in various environments. The results show that the accuracy of the geometric correction is 0.6m and 1.7m respectively, in both areas, and the processing time is about 30 seconds per 1 scene. This indicates that the applicability of this study may be high in disaster areas requiring timeliness. However, in case of no reference image or low-level accuracy, the results entail the limit of the decreased calibration.
Recently, due to the large-scale damage of natural disasters caused by global climate change, a monitoring system applying remote sensing technology is being constructed in disaster areas. Among remote sensing platforms, the drone has been actively used in the private sector due to recent technological developments, and has been applied in the disaster areas owing to advantages such as timeliness and economical efficiency. This paper deals with the development of a preprocessing system that can map the drone image data in a near-real time manner as a basis for constructing the disaster monitoring system using the drones. For the research purpose, our system is based on the SURF algorithm which is one of the computer vision technologies. This system aims to performs the desired correction through the feature point matching technique between reference images and shot images. The study area is selected as the lower part of the Gahwa River and the Daecheong dam basin. The former area has many characteristic points for matching whereas the latter area has a relatively low number of difference, so it is possible to effectively test whether the system can be applied in various environments. The results show that the accuracy of the geometric correction is 0.6m and 1.7m respectively, in both areas, and the processing time is about 30 seconds per 1 scene. This indicates that the applicability of this study may be high in disaster areas requiring timeliness. However, in case of no reference image or low-level accuracy, the results entail the limit of the decreased calibration.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문은 재난재해 분야에 적용하기 위한 준 실시간의 드론영상 전처리 방법에 관한 수행된 연구를 다룬다. 본 연구를 통해 구성한 드론 영상 전처리 방법은 드론에서 관측하는 영상을 실시간으로 수신하여 빠르게 실제 지리정보를 입력하며, 드론 영상 1장 당 30초 이내의 처리시간을 목표로 한다.
본 논문은 스마트아이 시스템에 적용하여 개발 중인 전처리 시스템의 기하보정 기법에 대해 연구하였다. 그러나 본 연구에서 사용한 기하보정 방법은 높은 정확도의 레퍼런스 영상이 필수적으로 필요한 방법이다.
따라서 본 논문은 재난재해 분야에 적용하기 위한 준 실시간의 드론영상 전처리 방법에 관한 수행된 연구를 다룬다. 본 연구를 통해 구성한 드론 영상 전처리 방법은 드론에서 관측하는 영상을 실시간으로 수신하여 빠르게 실제 지리정보를 입력하며, 드론 영상 1장 당 30초 이내의 처리시간을 목표로 한다.
제안 방법
기하보정 결과의 검증을 위해 레퍼런스 영상에서 취득한 특징점을 기준으로 보정영상에서 같은 위치의 특징점과의 좌표를 비교하여 정확도를 검증하였다. 레퍼런스 영상에서 취득한 특징점 정보는 실험 전 설치했던 대공 표지의 위치정보를 사용하였다.
본 연구에서 구성한 드론 영상 전처리 시스템은 수집된 드론 영상과 기하보정에 사용되는 레퍼런스 영상을 입력하는 자료 입력부, 입력된 드론 영상과 레퍼런스 영상간에 특징점을 매칭하여 기하보정을 수행하는 자료 처리부, 입력된 드론 영상을 다양한 목적에 따라 분석영상을 산출하는 자료 분석부, 자료 분석부에서 분석된 영상과 자료 처리부에서 기하보정된 영상 간 매칭을 통해 분석영상에 기하정보를 입력하는 2차 자료처리부, 최종 처리된 자료를 사용자에게 표출하는 결과 출력부로 구성된다. 그림 1은 전반적인 시스템 구성도를 도식화하여 보여 주고 있다.
알고리즘의 성능 분석을 위해 드론을 통해 획득한 영상을 활용하였으며, 드론에 장착된 카메라는 Sony 알파 6000 모델을 사용하였다. 실험을 위해 특징점이 풍부한 가화강과 특징점이 상대적으로 부족한 대청댐 유역 지역에서 두 차례에 걸쳐 실험을 진행하였다.
준 실시간 영상 전처리를 위해 입력된 영상의 실제 지표상의 위치를 빠르게 탐지하고 매핑하기 위하여, 입력 영상의 특징을 추출하여 비교 및 인식하는 컴퓨터 비전 알고리즘을 사용한다. 이를 기반으로 기존에 촬영 및 보정된 영상과 신규 영상간의 특징점을 추출하고 매칭하여 빠르게 드론 영상을 보정할 수 있는 영상 전처리 시스템을 구성한다. 이러한 컴퓨터 비전 알고리즘 중 대표적인 특징점 추출 및 매칭 알고리즘은 SIFT(Scale Invariant Feature Transform)와 SURF(Speeded Up Robust Feature)가 있다.
이에 본 연구에서도 처리 시간 및 처리 정확도에서 높은 성능을 보인 SURF 알고리즘을 기반으로 드론 전처리 시스템을 구성하였다.
이후 호모그래피를 통해 원본 영상을 레퍼런스 영상에 투영시켜 원본 영상이 레퍼런스 영상에서 차지하는 영역을 매핑한 후 매핑된 영역의 각 코너점의 위치를 산출한다. 검출된 코너점의 위치를 레퍼런스 영상의 좌표 정보와 매칭하여 GCP를 생성한다.
기하보정은 레퍼런스 영상과 드론 영상 간에 특징점을 찾고 레퍼런스 영상에서 드론 영상의 위치를 찾아 레퍼런스 영상의 지리정보를 입력하여 보정하게 된다. 자료 분석부는 자료 입력부에서 수집된 원본 영상을 전달받아 사용자의 목적에 맞는 다양한 분석영상을 산출한다. 자료 분석부의 분석영상 산출은 자료 처리부의 기하보정 과정과 동시에 이루어진다.
자료 입력부는 촬영된 드론 영상과 기하보정에 사용된 레퍼런스 영상을 수집하여 자료 처리부와 자료 분석부에 필요한 각각의 자료들을 전달한다. 자료 처리부는 자료 입력부에서 수집된 드론 영상과 레퍼런스 영상을 이용하여 기하보정을 수행한다. 기하보정은 레퍼런스 영상과 드론 영상 간에 특징점을 찾고 레퍼런스 영상에서 드론 영상의 위치를 찾아 레퍼런스 영상의 지리정보를 입력하여 보정하게 된다.
2차 자료 처리부는 자료 처리부에서 산출된 GCP 정보를 이용하여 자료 분석부에서 산출된 고부가 영상의 기하보정을 수행한다. 자료 처리부에서 처리된 영상의 네임과 분석된 자료의 네임을 비교하여 서로 일치하는 영상의 GCP 정보를 그대로 적용하여 분석영상의 기하보정을 수행한다.
행렬을 구하기 이전에 빠른 계산을 위해 영상을 적분영상으로 변환한다. 적분영상 제작 이후 헤시안 행렬 기반의 검출기를 사용하여 특징점을 검출한다. 특징점 검출 시 옥타브 별로 서로 다른 스케일의 영상을 뽑아낸 후 비최대 억제법(Non-Maximal Suppression)을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점으로 지정한다.
추출한 매칭 포인트를 기반으로 원본 영상을 레퍼런스 영상에 투영시켜 매핑 영역을 산출하고 코너점을 검출한다. 코너점 검출을 위해 호모그래피를 이용한 투영 방법을 사용한다.
적분영상 제작 이후 헤시안 행렬 기반의 검출기를 사용하여 특징점을 검출한다. 특징점 검출 시 옥타브 별로 서로 다른 스케일의 영상을 뽑아낸 후 비최대 억제법(Non-Maximal Suppression)을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점으로 지정한다.
할당된 orientation 방향 정보를 기반으로 descriptor를 생성하며 헤시안 행렬에서 계산한 라플라시안의 부호와 descriptor값을 비교하여 매칭을 수행한다. 두 특징에 해당하는 값이 하나는 양수, 하나는 음수라면 서로 다른 특징으로 간주하여 계산하지 않으며 부호가 같을 경우 유클리드 거리 계산을 통해 최근접 이웃을 탐색한 후 RANSAC 알고리즘을 이용하여 매칭 포인트를 추출한다.
대상 데이터
레퍼런스 영상에서 취득한 특징점 정보는 실험 전 설치했던 대공 표지의 위치정보를 사용하였다.
알고리즘의 성능 분석을 위해 드론을 통해 획득한 영상을 활용하였으며, 드론에 장착된 카메라는 Sony 알파 6000 모델을 사용하였다. 실험을 위해 특징점이 풍부한 가화강과 특징점이 상대적으로 부족한 대청댐 유역 지역에서 두 차례에 걸쳐 실험을 진행하였다.
이론/모형
할당된 orientation 방향 정보를 기반으로 descriptor를 생성하며 헤시안 행렬에서 계산한 라플라시안의 부호와 descriptor값을 비교하여 매칭을 수행한다. 두 특징에 해당하는 값이 하나는 양수, 하나는 음수라면 서로 다른 특징으로 간주하여 계산하지 않으며 부호가 같을 경우 유클리드 거리 계산을 통해 최근접 이웃을 탐색한 후 RANSAC 알고리즘을 이용하여 매칭 포인트를 추출한다. RANSAC 알고리즘은 에러를 포함하고 있는 데이터 집합에서 반복적인 작업을 통해서 확률적으로 최적의 값을 도출하는 알고리즘이다[11].
드론에서 촬영된 영상이 자료 입력부에 전송되면 자료 처리부에서 기 구축된 레퍼런스 영상을 로드하여 두 영상 간 특징점을 검출하게 된다. 이 때 특징점 검출을 위해 SURF 알고리즘을 사용한다. 그림 2는 자료 처리부의 기하보정 과정을 단계별로 보여주고 있다.
준 실시간 영상 전처리를 위해 입력된 영상의 실제 지표상의 위치를 빠르게 탐지하고 매핑하기 위하여, 입력 영상의 특징을 추출하여 비교 및 인식하는 컴퓨터 비전 알고리즘을 사용한다. 이를 기반으로 기존에 촬영 및 보정된 영상과 신규 영상간의 특징점을 추출하고 매칭하여 빠르게 드론 영상을 보정할 수 있는 영상 전처리 시스템을 구성한다.
추출한 매칭 포인트를 기반으로 원본 영상을 레퍼런스 영상에 투영시켜 매핑 영역을 산출하고 코너점을 검출한다. 코너점 검출을 위해 호모그래피를 이용한 투영 방법을 사용한다. 호모그래피란 기준 영상의 점과 그에 대응되는 대상 영상의 점들 사이의 관계를 나타낸 것으로 영상을 정합하는데 있어 3차원 실세계에 있는 영상을 카메라의 2차원 이미지 평면에 투영시키는데 두 영상을 동일 평면상에 있다고 가정하고 두 영상간의 관계를 나타낸 것이다.
성능/효과
실험 대상인 두 지역 각각 15장의 영상의 평균 오차는 기하보정 결과 가화강 지역 0.6m, 대청댐 유역 1.7m로 각각 나타났다. 가화강 유역의 정확도가 상대적으로 높게 나온 것은 대청댐 대비 가화강 지역은 특징점을 찾을 수 있는 지역이 많았기 때문으로 판단된다.
무인기 영상의 처리에서 호모그래피를 사용하여 투영하는 이유는 실험에 사용한 드론의 경우 짐벌장비가 설치되어있지 않아 촬영 중 기체의 기울어짐에 따른 영상의 왜곡이 매우 심하기 때문이다. 호모그래피의 적용을 통해 그림 4와 그림 5에서 보여진 바와 같이 실험 영상과 레퍼런스 영상 간 매칭에서 정확도가 매우 높아짐을 확인할 수 있었다.
후속연구
향후 연구에서는 이러한 한계점을 보완하기 위해 드론의 이륙 지점에서 촬영한 한 장의 영상만을 빠르게 보정한 후 지속적으로 촬영되는 영상들을 모자이킹하며 보정하는 방법을 적용할 예정이다. 이를 통해 레퍼런스 영상의 사용도를 낮추어 다양한 상황에서의 활용도를 높일 수 있을 것으로 예상된다.
향후 연구에서는 이러한 한계점을 보완하기 위해 드론의 이륙 지점에서 촬영한 한 장의 영상만을 빠르게 보정한 후 지속적으로 촬영되는 영상들을 모자이킹하며 보정하는 방법을 적용할 예정이다. 이를 통해 레퍼런스 영상의 사용도를 낮추어 다양한 상황에서의 활용도를 높일 수 있을 것으로 예상된다.
질의응답
핵심어
질문
논문에서 추출한 답변
SIFT 알고리즘이란 무엇인가?
SIFT 알고리즘은 2004년에 David Lowe 에 의해 처음 제안되었으며, 영상 회전, 스케일 변화, 유사성을 가진 변형(Affine Deformation), 관점 변화(Viewpoint Change), 잡음(Noise), 조명 변화(Illumination Change)에 매우 높은 강인성을 보여주는 특징 추출 알고리즘이다[7]. SIFT는 크게 4단계를 거쳐 수행되며, 단계별 주요 기능은 (1) 스케일 공간 극값 검출(Scale Space Extrema Detection), (2) 주요 점 지역화(Key Point Localization), (3) 방향성 배치(Orientation Assignment)와 (4) 기술 내용 생성(Description Generation)이다.
SURF (Speeded Up Robust Features) 알고리즘의 특징은 무엇인가?
SURF (Speeded Up Robust Features) 알고리즘은 다중 스케일 공간 정리(Multi-Scale Space Theory)에 기초하며, 특징 기술자는 성능과 정확성에서 우수한 헤시안 행렬(Hessian Matrix)을 기반으로 검출된다[8].
SIFT 알고리즘의 단점은?
SIFT 알고리즘은 1988년 해리스 코너 검출 방법 이후 개발된 특징점 검출 알고리즘으로 영상 간 크기 및 회전 등과 같은 변화에도 높은 성능의 특징점 검출 결과를 보여주는 알고리즘이다. 그러나 연산의 복잡성으로 인해 계산속도가 상대적으로 느린 경향이 있었다. SURF는 이러한 SIFT의 단점을 보완할 목적으로 개발된 알고리즘으로 SIFT 못지않은 성능을 유지하며 계산속도를 향상시켰다.
2017 Disaster Safety Statistical Yearbook, Ministry of the Interior and Safety, 2017.
S. Chae and S. Hong, "The Opportunity and Risk Analysis of Commercial Drones", Proceedings of Summer Conference of the Korean Institute of Communication and Information Science, pp. 736-737, 2015.
M. Kim and H. Yoon, "A Study on Utilization 3D Shape Pointcloud without GCPs using UAV Images", Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 19, No. 2, pp. 97-104, 2018. DOI: https://doi.org/10.5762/KAIS.2018.19.2.97
S. Lim, "Use of Drone in Disaster Safety Field" Science and Technology Policy, Vol. 203, pp. 16-19, 2015.
Y. Joo, "Drone Image Classification based on Convolutional Neural Networks", The Journal of The Institute of Internet, Broadcasting and Communication (JIIBC), Vol. 17, No. 5, pp. 97-102, 2017. DOI: https://doi.org/10.7236/JIIBC.2017.17.5.97
David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints" International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004. DOI: https://doi.org/10.1023/B:VISI.0000029664.99615.94
Herbert Bay, Tinne Tuytelaars and Luc Van Gool, "SURF: Speeded Up Robust Features" Computer Vision and Image Understanding, Vol. 110, No. 3, pp. 346-359, 2008. DOI: https://doi.org/10.1016/j.cviu.2007.09.014
J. Ryu, S. Lee and Y. Jeong, "FPGA Design of the SURF Algorithm based Feature Point Extractor", Journal of Korea Multimedia Society, Vol. 14, No. 3, pp. 368-377, 2011. DOI: https://doi.org/10.9717/kmms.2011.14.3.368
Y. Lee, J. Park and Y. Kim, "A Comparative Analysis of the Performance of SIFT and SURF", The Journal of the Korean Society of Semiconductor and Display Technology, Vol. 12, No. 3, pp. 59-64, 2013.
J. Kim and D. Kim, "Matching Points Filtering Applied Panorama Image Processing Using SURF and RANSAC Algorithm", Journal of the Institute of Electronics and Information Engineers, Vol. 51, No. 4, pp. 144-159, 2014. DOI: https://doi.org/10.5573/ieie.2014.51.4.144
S. Seo, S. Jeong, Y. Han, J. Choi and S. Lee, "Efficient Homography Estimation for Panoramic Image Generation", Journal of the Institute of Electronics and Information Engineers, Vol. 50, No. 8, pp. 214-224, 2013. DOI: https://doi.org/10.5573/ieek.2013.50.8.215
※ AI-Helper는 부적절한 답변을 할 수 있습니다.