선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 기존의 시스템과 대비하여 위와 같은 특징 및 차별성을 통해 개발된 무인항공기 기반 자동/고속 매핑 시스템의 구성을 기술하고, 개발된 시스템을 대상지역에 실제로 적용하여 얻어진 결과를 바탕으로 정확도를 산출한 결과를 제시한다.
- 본 연구를 통해 초소형 무인항공기 기반의 긴급 매핑 멀티센서 시스템 구축하였다. 효율적인 데이터 획득을 위한 비행 계획 소프트웨어와 비행 계획에 따라 획득한 데이터를 시간 동기화 후 필터링을 수행하고, 필터링 된 데이터를 입력으로 영상매칭, 영상 지오레퍼런싱과 정사영상 생성을 수행하는 데이터 처리 소프트웨어를 개발하였다.
- 일반적으로 수치 표고 모형은 처리 시간이 많이 소요되는 정밀 매칭(Dense matching)에 의해 지상의 밀도 높은 3차원 점집합을 계산하고 이로부터 생성된다. 본 연구에서는 신속한 수치 표고 모델, 이를 입력으로 하는 정사영상 생성을 위하여 평균 고도면의 수치 표고 모델을 생성한다. 평균 고도의 값은 비행 계획 수립과정에서 산출되는 사용자의 관심영역에 대한 최소 경계 사각형의 경계점 좌표로부터 결정될 수 있다.
- 번들 블록 조정은 다수의 영상으로부터 공액점을 관측하고, 전체 영역에 대해 소수의 기준 데이터를 활용하여, 공선조건식에 기반을 두어 영상의 외부표정요소와 공액점에 상응하는 지상점의 좌표를 결정하는 과정이다. 본 연구에서는 지오레퍼런싱 결과로부터 대상지역의 공간정보를 고속으로 자동 생성하는 것을 목표이기 때문에 자동처리를 위하여 번들 블록 조정 과정에 지상기준점의 사용 없이 GPS/IMU 데이터로부터 산출되는 영상의 초기 외부표정요소를 확률제약조건으로 활용하는 번들 블록 조정 알고리즘을 채택하였다[2].
- 이에 본 연구는 기존의 시스템을 활용하여 무인항공기를 이용한 데이터 획득과 처리 과정에서 발견되는 다양한 한계를 극복하고, 특히 사진측량과 관련된 전문지식이 많지 않은 일반 사용자가 데이터 획득부터 공간정보 생성까지 신속하게 자동으로 수행하면서도 비용효율적인 시스템을 개발하고자 한다. 즉, 사용자는 대상지역의 범위와 요구되는 정사영상의 해상도를 입력하면, 시스템이 비행계획수립에서 데이터 취득 및 처리하여 정사영상을 자동으로 생성하는 중저가 시스템을 의미한다.
제안 방법
- Hernandez-Lopez[5]는 카메라의 사양과 요구되는 공간해상도, 종 · 횡중복도를 고려하여 자동으로 비행 계획을 수립하는 소프트웨어를 개발하였다. 계획된 비행경로를 따라 실제 비행에 의하여 획득된 데이터의 중복도, 위치, 자세 등의 차이를 비교하는 연구를 수행하였다. Niethammer[11]는 초소형 무인항공기를 기반으로 산사태 지역의 데이터를 획득하고, 오픈 소스를 통해 수치 지형 모형과 정사영상을 생성하고, 이를 분석하여 산사태 전후의 지물의 이동 방향과 높이 변화를 분석하였다.
- 하지만 데이터 획득에서 중요한 공간해상도에 따른 비행경로를 하지 않고, 주로 비행고도를 중심으로 비행경로를 생성한다. 공간해상도는 카메라와 렌즈에 사양에 따라 결정되는 것이기 때문에, 본 연구에서는 공간해상도와 중복도를 입력받아 카메라와 렌즈의 사양에 따라 비행경로를 생성한다.
- 그 결과 영상 매칭에서는 57장의 영상으로부터 404초 동안 4863개의 공액점을 추출하였다. 그리고 번들 블록 조정에서는 964초의 처리 시간에 의하여 영상의 외부표정요소를 결정하였으며, 정사영상 생성에서는 367초의 처리 시간을 거쳐 57장의 개별 정사영상을 생성했다.
- 그리고 비교를 위해 Photoscan[1]을 이용하여 획득 데이터와 지상기준점을 입력으로 데이터 처리를 수행한다. 먼저, Photoscan에서의 처리는 Align Photos, Build Dense Cloud, Build Mesh, Build Texture 순으로 진행된다.
- 멀티 센서 탑재체는 영상과 위치/자세 데이터를 정확하게 시간 동기화하여 수집하는데, 이는 지상기준점 없이 자동화된 후처리를 위해 반드시 필요하다. 대상지역과 요구되는 해상도를 고려해서 자동으로 최적의 비행경로를 수립하여 데이터를 취득한다. 취득된 멀티 센서 데이터는 초기위치자세를 활용하여 개선된 영상매칭을 통해 영상 간의 신뢰성 높은 공액점을 고속으로 자동으로 추출한다.
- 공간해상도는 한 픽셀에 투영되는 지상 상의 길이로 정의되기 때문에 비행고도와 초점거리, 픽셀의 크기의 비례식으로 계산되며, 축척은 초점거리에 계산된 비행고도를 나눔으로써 계산된다. 두 번째 단계에서 미션의 스트립 수 및 스트립 당 사진의 수는 카메라 센서의 픽셀 개수와 크기, 관심 영역의 좌표, 사진의 중복도, 축척을 이용하여 계산한다. 마지막 세 번째 과정에서 초소형 무인항공기가 최소 경계 사각형의 좌상단에서부터 시작하는 것으로 설정하여 비행경로를 수립한다.
- 시간동기화를 위해 GPS는 제어보드와 직렬로 연결되어 데이터 수신이 가능하도록 하고, IMU는 통합제어보드에 내장형으로 장착하여 데이터 수신 및 저장이 가능하도록 했다. 디지털 카메라는 제어보드에서 송출되는 신호에 따라 주기적으로 촬영을 수행하도록 하였다. 먼저 제어보드가 GPS 수신기로부터 시간 동기화가 이루어진다.
- UAV(Unmanned Aerial Vehicle) International association[18]에서 무게, 가동 범위, 비행 고도, 비행 시간 등을 고려하여 무인기의 등급을 분류하였으며, 일부분을 Table 1에 나타냈다. 무인기의 등급에서 제원이 높아질수록 구입비용, 운용비용 등이 기하급수적으로 증가하기 때문에, 본 연구에서는 초소형(Micro) 무인기를 선택하였으며, 초소형 무인항공기는 무게 5Kg이하, 가동 범위 10km 이내, 비행 고도 250m 이하, 비행시간은 1시간 이내의 제원을 갖는다.
- 본 연구에서는 도심지에서도 사용이 가능한 회전익을 고려하여, DJI사의 900-6을 플랫폼으로 채택하였다. 이 플랫폼은 안정한 비행이 가능하도록 6개의 프로펠러가 장착되어 있으며, 최대 탑재 허용 중량은 8000g으로 초소형 카메라, GPS, IMU 등의 탑재가 가능하다.
- 영상 지오레퍼런싱 단계에서는 지오레퍼린싱의 정확도에 따라 상, 중 하, 정밀 매칭 단계에서는 생성되는 점들의 개수에 따라 최상, 상, 중, 하, 최하, 메쉬 생성에서는 생성되는 표면의 개수에 따라 상, 중, 하, 텍스처 작업은 다양한 매핑 방법을 선택할 수 있다. 본 연구에서는 정확한 기준데이터가 필요하기 때문에 영상 지오레퍼런싱 단계에서 가장 높은 정확도, 정밀 매칭 단계에서는 최상의 품질로 선택을 하게 되면 너무 긴 처리 시간이 필요하기 때문에 상의 품질, 메쉬 생성 단계에서는 상으로 선택하여 데이터 처리와 동시에 처리 시간을 측정하였다. 그 결과 영상 지오레퍼런싱 단계에서 62분, 정사영상 생성은 413분으로 총 475분의 긴 처리시간이 필요로 했다.
- 80m이다. 비행 속도는 초소형 무인항공기에 김발이 없는 것을 고려하여 가능한 연직사진 획득이 수월하도록 7m/s하여, 영상간의 거리를 반영하여 4초에 1장씩 촬영되도록 설정하였다. 비행 속도는 사진 한 장 당 커버하는 지상의 넓이는 144m × 96m이며, 그 결과 9분가량의 비행을 통해 총 134개의 영상과 GPS/IMU 데이터를 획득하였으며, 비행경로는 Figure 6의 오른쪽과 같다.
- 시간동기화를 위해 GPS는 제어보드와 직렬로 연결되어 데이터 수신이 가능하도록 하고, IMU는 통합제어보드에 내장형으로 장착하여 데이터 수신 및 저장이 가능하도록 했다. 디지털 카메라는 제어보드에서 송출되는 신호에 따라 주기적으로 촬영을 수행하도록 하였다.
- 영상점과 투영 중심, 지상점이 한 직선 위에 존재한다는 공선조건식을 기반으로 하여 정사영상의 밝기 값을 원영상에서 가져오는 미분 편위 수정을 방법을 채택하였다.
- 또한 비행하는 동안 강한 바람에 의해서 초소형 무인항공기의 비행속도가 늦춰짐으로써 필요이상으로 과중복된 영상이 획득될 수 있을 뿐만 아니라 초소형 무인항공기가 기울어진 상태에서 데이터가 획득되는 경우가 발생한다. 이와 같은 공간정보 생성에 부적합한 데이터를 자동으로 제거하는 필터링 알고리즘을 개발하였다. 우선, 이 · 착륙하는 동안 획득되는 데이터를 제거하기 위하여 GPS 데이터를 활용하였다.
- 처리 소프트웨어의 정확도 검증을 위해 데이터 획득 지역에서 1.5cm의 정밀도로 19개의 지상기준점 측량을 수행하였다. 측량된 지상기준점의 분포는 Figure 7와 같다.
- 초소형 무인항공기의 최대 허용 중량을 고려하여 경량의 센서들을 채택하였다. 디지털 카메라는 광학 레인지 파인더를 가지고 있지 않은 가벼운 카메라이며, 다양한 렌즈가 탈착될 수 있고 센서의 사이즈가 무게에 비하여 큰 카메라이다.
- 추출된 공액점과 영상과 함께 취득된 위치자세 데이터를 확률제한조건으로 적용하는 번들블럭조정에 기반한 지오레퍼런싱 과정을 통해 영상의 외부표정요소를 정밀하게 추정한다. 최종적으로 추정된 외부표정요소를 활용하여 개별 영상을 기존의 DEM이나 평균고도면에 투영하여 적절한 품질의 정사영상을 고속으로 생성한다.
- 취득된 멀티 센서 데이터는 초기위치자세를 활용하여 개선된 영상매칭을 통해 영상 간의 신뢰성 높은 공액점을 고속으로 자동으로 추출한다. 추출된 공액점과 영상과 함께 취득된 위치자세 데이터를 확률제한조건으로 적용하는 번들블럭조정에 기반한 지오레퍼런싱 과정을 통해 영상의 외부표정요소를 정밀하게 추정한다. 최종적으로 추정된 외부표정요소를 활용하여 개별 영상을 기존의 DEM이나 평균고도면에 투영하여 적절한 품질의 정사영상을 고속으로 생성한다.
- 무인기 운용의 용이성과 가격을 고려하여 적절한 초소형 무인항공기를 플랫폼으로 선정한다. 특정 플랫폼에 종속되지 않고 독립적으로 탑재되어 동작가능한 멀티 센서 탑재체를 개발한다. 멀티 센서 탑재체는 영상과 위치/자세 데이터를 정확하게 시간 동기화하여 수집하는데, 이는 지상기준점 없이 자동화된 후처리를 위해 반드시 필요하다.
- 본 연구를 통해 초소형 무인항공기 기반의 긴급 매핑 멀티센서 시스템 구축하였다. 효율적인 데이터 획득을 위한 비행 계획 소프트웨어와 비행 계획에 따라 획득한 데이터를 시간 동기화 후 필터링을 수행하고, 필터링 된 데이터를 입력으로 영상매칭, 영상 지오레퍼런싱과 정사영상 생성을 수행하는 데이터 처리 소프트웨어를 개발하였다. 개발된 소프트웨어로 생성된 공간정보를 상용 소프트웨어의 결과물과 비교 · 분석함으로써 성능을 검증하였다.
대상 데이터
- 비행 속도는 사진 한 장 당 커버하는 지상의 넓이는 144m × 96m이며, 그 결과 9분가량의 비행을 통해 총 134개의 영상과 GPS/IMU 데이터를 획득하였으며, 비행경로는 Figure 6의 오른쪽과 같다. 134개의 영상 중에 불필요한 77장의 영상을 제거하고, 데이터 처리에 57장의 영상과 이에 상응하는 GPS/IMU 데이터를 정확도 평가 시험에 활용하였다. 이는 비행계획 수립 단계에서 산출된 예상 데이터 획득 개수와 유사한 것을 알 수 있다.
- 2014년 10월 1일에 경기도 광명시 하안동 인근에서 약 400m × 300m넓이를 가진 지역에 대한 공간해상도 3cm, 종중복도 80%, 횡중복도 60%로 비행계획을 수립하였다.
- 개발된 각각의 모듈에 57장의 영상으로 데이터 처리를 수행하였다. 그 결과 영상 매칭에서는 57장의 영상으로부터 404초 동안 4863개의 공액점을 추출하였다.
- 개발된 영상 매칭 과정에서 57장의 영상으로부터 4863개의 공액점을 추출하였다. 이는 381개의 지상점에 상응하는 것으로 Figure 9에서 일부를 보여주고 있다.
- 그러나 57장의 영상 중 8장의 영상으로부터는 공액점 추출이 불가능하였다. 공액점 추출이 이뤄지지 않은 영상을 살펴본 결과 밝기 값이 급변하는 구간이거나 스트립이 바뀌는 지점에서 획득된 영상들이었다. 향후 이와 같은 한계를 극복하기 위한 추가 연구가 필요한 것으로 판단된다.
- 실제 데이터 획득 시에는, 데이터 획득 주기 등을 설정하고 GPS/IMU 데이터와 영상이 문제없이 들어오는 것을 확인하고 초소형 무인항공기가 이륙하게 된다. 그렇기 때문에 초소형 무인항공기가 이륙, 착륙하는 동안 공간정보 생성에 부적합한 데이터가 획득된다. 또한 비행하는 동안 강한 바람에 의해서 초소형 무인항공기의 비행속도가 늦춰짐으로써 필요이상으로 과중복된 영상이 획득될 수 있을 뿐만 아니라 초소형 무인항공기가 기울어진 상태에서 데이터가 획득되는 경우가 발생한다.
- 무인기 운용의 용이성과 가격을 고려하여 적절한 초소형 무인항공기를 플랫폼으로 선정한다. 특정 플랫폼에 종속되지 않고 독립적으로 탑재되어 동작가능한 멀티 센서 탑재체를 개발한다.
- 비행 속도는 사진 한 장 당 커버하는 지상의 넓이는 144m × 96m이며, 그 결과 9분가량의 비행을 통해 총 134개의 영상과 GPS/IMU 데이터를 획득하였으며, 비행경로는 Figure 6의 오른쪽과 같다.
- 우선, 이 · 착륙하는 동안 획득되는 데이터를 제거하기 위하여 GPS 데이터를 활용하였다.
- 정사영상 생성에서는 57개의 영상과 외부표정요소를 입력으로 개별 정사영상을 생성하였다. 생성된 개별 정사영상의 샘플은 Figure 11와 같다.
데이터처리
- 개발된 소프트웨어로 생성된 공간정보를 상용 소프트웨어의 결과물과 비교 · 분석함으로써 성능을 검증하였다.
- Turner[17]는 자체적으로 개발한 GPS와 카메라 동기화 시스템을 초소형 무인항공기에 탑재하고 이를 운용하여 데이터 획득을 실시하였다. 획득한 데이터를 자체 개발한 번들 블록 조정 기반의 처리 소프트웨어에 적용한 결과와 상용소프트웨어 Photoscan과 Pix4D에 적용한 결과를 처리 시간과 정확도 측면으로 비교하였다. 그 결과 Photoscan이 Pix4D에 비해 처리 시간과 정확도 측면에서 상대적으로 우수한 결과를 나타내었다.
이론/모형
- 고속으로 공간정보를 생성하는 지상 소프트웨어의 요구 사항에 따라 영상 매칭 과정 역시 빠른 처리 속도가 요구된다. 따라서 처리 속도 면에서 우수한 성능을 보이는 KLT(Kanade Lucas Tomasi) feature tracker 알고리즘을 기반으로 영상간의 이동 및 회전량이 크더라도 신뢰도 높은 결과물을 산출할 수 있도록 영상의 외부표정요소를 활용하는 개선된 KLT 알고리즘 채택하였다[15].
- 미분 편위 수정을 통해 생성된 정사영상의 밝기 값을 결정할 때 정사영상의 격자에 상응하는 원영상의 위치로 가서 주변 밝기 값을 내삽하여 영상 재배열을 수행한다. 이때 고속 처리를 위하여 가장 가까운 거리에 있는 원영상의 밝기 값을 그대로 쓰는 최근린내삽법(Nearest neighbor)을 채택하였다.
성능/효과
- 측량된 지상기준점의 분포는 Figure 7와 같다. Photoscan의 영상 지오레퍼런싱 과정에서 11개의 지상기준점을 입력하고, 8개의 검사점을 통해 평균 제곱근 편차(Root Mean Square Deviation)의 수평 위치는 2~7cm, 수직 위치는 13cm로 나타나는 것을 확인했다. 그리고 1.
- 획득한 데이터를 자체 개발한 번들 블록 조정 기반의 처리 소프트웨어에 적용한 결과와 상용소프트웨어 Photoscan과 Pix4D에 적용한 결과를 처리 시간과 정확도 측면으로 비교하였다. 그 결과 Photoscan이 Pix4D에 비해 처리 시간과 정확도 측면에서 상대적으로 우수한 결과를 나타내었다. Sona[14], Jeon[7]는 초소형 무인항공기를 통해 획득한 데이터를 PhotoMoeler, Erdas-LPS, Socet set와 같은 전통적인 사진 측량 소프트웨어와 저고도 무인항공기 영상 처리에 특화되어 있는 Pix4UAV, Photoscan, 그리고 자체 개발한 알고리즘에 적용하여 처리 단계별로 정확도를 비교 · 분석하였다.
- 2014년 10월 1일에 경기도 광명시 하안동 인근에서 약 400m × 300m넓이를 가진 지역에 대한 공간해상도 3cm, 종중복도 80%, 횡중복도 60%로 비행계획을 수립하였다. 그 결과 생성된 비행경로는 Figure 6의 왼쪽과 같으며, 비행 고도는 144m, 스트립의 수는 5개, 스트립 당 사진의 수는 11개로써, 예상 획득 영상의 개수는 55장이며, 영상간의 거리는 28.80m이다. 비행 속도는 초소형 무인항공기에 김발이 없는 것을 고려하여 가능한 연직사진 획득이 수월하도록 7m/s하여, 영상간의 거리를 반영하여 4초에 1장씩 촬영되도록 설정하였다.
- 개발된 각각의 모듈에 57장의 영상으로 데이터 처리를 수행하였다. 그 결과 영상 매칭에서는 57장의 영상으로부터 404초 동안 4863개의 공액점을 추출하였다. 그리고 번들 블록 조정에서는 964초의 처리 시간에 의하여 영상의 외부표정요소를 결정하였으며, 정사영상 생성에서는 367초의 처리 시간을 거쳐 57장의 개별 정사영상을 생성했다.
- 본 연구에서는 정확한 기준데이터가 필요하기 때문에 영상 지오레퍼런싱 단계에서 가장 높은 정확도, 정밀 매칭 단계에서는 최상의 품질로 선택을 하게 되면 너무 긴 처리 시간이 필요하기 때문에 상의 품질, 메쉬 생성 단계에서는 상으로 선택하여 데이터 처리와 동시에 처리 시간을 측정하였다. 그 결과 영상 지오레퍼런싱 단계에서 62분, 정사영상 생성은 413분으로 총 475분의 긴 처리시간이 필요로 했다. 자체소프트웨어와 비교했을 때, 영상 지오레퍼런싱 단계에서는 2.
- 사진 측량 소프트웨어들은 카메라 캘리브레이션이과 영상 매칭 등의 과정에서 작업자의 개입이 요구되었으나, Pix4UAV와 Photoscan은 데이터 입력을 제외하고는 모든 과정이 자동화되어 있었으며 출력물의 정확도와 가시적 품질이 더 우수하게 나타났다. 그 중에서도 Photoscan이 모든 측면에서 가장 훌륭한 결과를 산출하였다.
- 이는 건물 경계에서 수치 표고 모형은 건물의 지붕과 바닥의 높이를 평균 내어 고도를 산출하기 때문이다. 본 연구에서는 평균 고도 의 수치 표고 모형을 이용하여 정사영상을 생성하기 때문에 위치 정확도 측면에서 다소 부정확할 수 있지만 가시적 품질은 상대적으로 좋다. 또한 엄밀정사영상이 아님에도 불구하고, 저고도에서 영상을 획득하고 카메라의 화각이 좁아 건물에 의한 기복변위가 크게 나타나지 않는다.
- Sona[14], Jeon[7]는 초소형 무인항공기를 통해 획득한 데이터를 PhotoMoeler, Erdas-LPS, Socet set와 같은 전통적인 사진 측량 소프트웨어와 저고도 무인항공기 영상 처리에 특화되어 있는 Pix4UAV, Photoscan, 그리고 자체 개발한 알고리즘에 적용하여 처리 단계별로 정확도를 비교 · 분석하였다. 사진 측량 소프트웨어들은 카메라 캘리브레이션이과 영상 매칭 등의 과정에서 작업자의 개입이 요구되었으나, Pix4UAV와 Photoscan은 데이터 입력을 제외하고는 모든 과정이 자동화되어 있었으며 출력물의 정확도와 가시적 품질이 더 우수하게 나타났다. 그 중에서도 Photoscan이 모든 측면에서 가장 훌륭한 결과를 산출하였다.
- 상용소프트웨어의 결과를 기준으로 영상의 외부표정요소 중 위치는 2∼7m, 자세는 1∼3°의 차이를 나타냈다.
- 생성된 개별 정사영상에 있어서도 심한 경사 영상을 입력으로 한 경우를 제외하면, 가시적 품질이 우수한 정사영상을 생성할 수 있었다. 영상 매칭에서부터 정사영상 생성까지 총 데이터 처리 시간이 약 29분 정도 소요되었으며, 상용 소프트웨어의 처리시간이 약 475분인 것에 비해 상당히 빠르게 처리된 것을 알 수 있었다. 향후 센서 및 시스템 캘리브레이션을 수행하여 정확도를 개선한다면, 재난 · 재해와 같이 신속한 평가 및 대응이 요구되는 분야에 효율적으로 활용될 것이다.
- 그 결과 영상 지오레퍼런싱 단계에서 62분, 정사영상 생성은 413분으로 총 475분의 긴 처리시간이 필요로 했다. 자체소프트웨어와 비교했을 때, 영상 지오레퍼런싱 단계에서는 2.7배, 정사영상 생성에서는 68.8배로써, 전체 처리 과정의 처리 시간을 비교하면 약 16배정도로 많은 시간이 필요로 한 것을 확인할 수 있었다. 처리 과정에서 사용한 컴퓨터의 사양과 단계별 처리 시간을 Table 4에서 확인할 수 있다.
후속연구
- 영상 매칭에서부터 정사영상 생성까지 총 데이터 처리 시간이 약 29분 정도 소요되었으며, 상용 소프트웨어의 처리시간이 약 475분인 것에 비해 상당히 빠르게 처리된 것을 알 수 있었다. 향후 센서 및 시스템 캘리브레이션을 수행하여 정확도를 개선한다면, 재난 · 재해와 같이 신속한 평가 및 대응이 요구되는 분야에 효율적으로 활용될 것이다.
- 공액점 추출이 이뤄지지 않은 영상을 살펴본 결과 밝기 값이 급변하는 구간이거나 스트립이 바뀌는 지점에서 획득된 영상들이었다. 향후 이와 같은 한계를 극복하기 위한 추가 연구가 필요한 것으로 판단된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.