최근 3차원 공간정보에 대한 수요가 증가함에 따라 신속하고 정확한 데이터 구축의 중요성이 증대되어 왔다. 정밀한 3차원 데이터 구축이 가능한 LiDAR (Light Detection and Ranging) 데이터를 기준으로 UAV (Unmanned Aerial Vehicle) 영상을 정합하기 위한 연구가 다수 수행되어 왔으나, MMS (Mobile Mapping System)로부터 취득된 LiDAR 점군데이터의 반사강도 영상을 활용한 연구는 미흡한 실정이다. 따라서 본 연구에서는 MMS로부터 취득된 LiDAR 점군데이터를 반사영상으로 변환한 데이터와 UAV 영상 데이터의 정합을 위해 9가지의 특징점 기반매칭 기법을 비교·분석하였다. 분석 결과 SIFT (Scale Invariant Feature Transform) 기법을 적용하였을 때 안정적으로 높은 매칭 정확도를 확보할 수 있었으며, 다양한 도로 환경에서도 충분한 정합점을 추출할 수 있었다. 정합 정확도 분석 결과 SIFT 알고리즘을 적용한 경우 중복도가 낮으며 동일한 패턴이 반복되는 경우를 제외하고는 약 10픽셀 수준으로 정확도를 확보할 수 있었으며, UAV 영상 촬영 당시 UAV 자세에 따른 왜곡이 포함되어 있음을 감안할 때 합리적인 결과라고 할 수 있다. 따라서 본 연구의 분석 결과는 향후 LiDAR 점군데이터와 UAV 영상의 3차원 정합을 위한 기초연구로 활용될 수 있을 것으로 기대된다.
최근 3차원 공간정보에 대한 수요가 증가함에 따라 신속하고 정확한 데이터 구축의 중요성이 증대되어 왔다. 정밀한 3차원 데이터 구축이 가능한 LiDAR (Light Detection and Ranging) 데이터를 기준으로 UAV (Unmanned Aerial Vehicle) 영상을 정합하기 위한 연구가 다수 수행되어 왔으나, MMS (Mobile Mapping System)로부터 취득된 LiDAR 점군데이터의 반사강도 영상을 활용한 연구는 미흡한 실정이다. 따라서 본 연구에서는 MMS로부터 취득된 LiDAR 점군데이터를 반사영상으로 변환한 데이터와 UAV 영상 데이터의 정합을 위해 9가지의 특징점 기반매칭 기법을 비교·분석하였다. 분석 결과 SIFT (Scale Invariant Feature Transform) 기법을 적용하였을 때 안정적으로 높은 매칭 정확도를 확보할 수 있었으며, 다양한 도로 환경에서도 충분한 정합점을 추출할 수 있었다. 정합 정확도 분석 결과 SIFT 알고리즘을 적용한 경우 중복도가 낮으며 동일한 패턴이 반복되는 경우를 제외하고는 약 10픽셀 수준으로 정확도를 확보할 수 있었으며, UAV 영상 촬영 당시 UAV 자세에 따른 왜곡이 포함되어 있음을 감안할 때 합리적인 결과라고 할 수 있다. 따라서 본 연구의 분석 결과는 향후 LiDAR 점군데이터와 UAV 영상의 3차원 정합을 위한 기초연구로 활용될 수 있을 것으로 기대된다.
Recently, as the demand for 3D geospatial information increases, the importance of rapid and accurate data construction has increased. Although many studies have been conducted to register UAV (Unmanned Aerial Vehicle) imagery based on LiDAR (Light Detection and Ranging) data, which is capable of pr...
Recently, as the demand for 3D geospatial information increases, the importance of rapid and accurate data construction has increased. Although many studies have been conducted to register UAV (Unmanned Aerial Vehicle) imagery based on LiDAR (Light Detection and Ranging) data, which is capable of precise 3D data construction, studies using LiDAR data embedded in MMS (Mobile Mapping System) are insufficient. Therefore, this study compared and analyzed 9 matching algorithms based on feature points for registering reflectance image converted from LiDAR point cloud intensity data acquired from MMS with image data from UAV. Our results indicated that when the SIFT (Scale Invariant Feature Transform) algorithm was applied, it was able to stable secure a high matching accuracy, and it was confirmed that sufficient conjugate points were extracted even in various road environments. For the registration accuracy analysis, the SIFT algorithm was able to secure the accuracy at about 10 pixels except the case when the overlapping area is low and the same pattern is repeated. This is a reasonable result considering that the distortion of the UAV altitude is included at the time of UAV image capturing. Therefore, the results of this study are expected to be used as a basic research for 3D registration of LiDAR point cloud intensity data and UAV imagery.
Recently, as the demand for 3D geospatial information increases, the importance of rapid and accurate data construction has increased. Although many studies have been conducted to register UAV (Unmanned Aerial Vehicle) imagery based on LiDAR (Light Detection and Ranging) data, which is capable of precise 3D data construction, studies using LiDAR data embedded in MMS (Mobile Mapping System) are insufficient. Therefore, this study compared and analyzed 9 matching algorithms based on feature points for registering reflectance image converted from LiDAR point cloud intensity data acquired from MMS with image data from UAV. Our results indicated that when the SIFT (Scale Invariant Feature Transform) algorithm was applied, it was able to stable secure a high matching accuracy, and it was confirmed that sufficient conjugate points were extracted even in various road environments. For the registration accuracy analysis, the SIFT algorithm was able to secure the accuracy at about 10 pixels except the case when the overlapping area is low and the same pattern is repeated. This is a reasonable result considering that the distortion of the UAV altitude is included at the time of UAV image capturing. Therefore, the results of this study are expected to be used as a basic research for 3D registration of LiDAR point cloud intensity data and UAV imagery.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
1과 같다. MMS로부터 취득된 3차원 LiDAR 데이터와 UAV 영상을 정합하기 위한 정합점을 추출하기 위해 본 연구에서는 3차원 점군데이터로 구성된 LiDAR 데이터를 평면시점 영상으로 변환하여 매칭 기법을 적용하였다. 이후 잘못된 정합쌍을 제거하기 위해 RANSAC (RANdom SAmple Consensus) 알고리즘을 적용하였으며, 최종적으로 추출된 정합쌍을 이용하여 변환계수를 추정하였다.
따라서 본 연구에서는 MMS로부터 취득한 3차원 LiDAR 점군데이터를 정사영상과 같은 평면시점(top view)에서 바라본 2차원 반사영상으로 변환한 후, UAV 영상과 LiDAR 반사영상데이터의 정합 가능성을 검증하고자 하였다. LiDAR 반사영상과 UAV 영상의 정합을 위한 특징점 기반의 매칭 기법을 상호비교·분석하고자 하였으며, 매칭 정확도와 정합 정확도의 두 가지 방법을 이용하여 정확도를 평가하였다.
본 연구에서 사용한 원 LiDAR 점군데이터는 약 5cm 간격으로 구성되어 있으며, 이에 따라 2차원 영상을 구성하기 위하여 5cm 격자영상을 구성하였다. 또한 본 연구에서는 도로 노면으로부터 정합점을 추출하고자 하였으며, 도로의 경우 지물 중에서도 가장 낮은 곳에 위치할 가능성이 높다. 따라서 이와 같이 구성된 5cm×5cm의 격자에 해당되는 반사강도를 할당하기 위하여 각 격자에 해당하는 점군데이터 중 표고 Z값이 가장 낮은 점의 반사강도 값을 적용하였다.
본 연구에서는 MMS로부터 취득된 LiDAR 점군데이터와 UAV 영상을 사용하여 정합점을 추출하고자 하였으며, 신촌동 및 연희동 일대를 촬영한 데이터를 사용하였다. 분석에 사용된 영상 데이터는 Table 2와 같으며, 총 3가지 케이스로 구분하여 분석을 수행하였다.
본 연구에서는 MMS로부터 취득된 LiDAR 점군데이터와 UAV 영상을 이용하여 정합점을 추출하고자 하였다. LiDAR 장비를 통해 취득되는 데이터는 레이저 광 펄스가 물체에 반사되어 돌아오는 정보를 이용하여 3차원 모델을 구성하며, Fig.
MMS로부터 취득한 LiDAR 데이터는 도로에서 먼 외부 지역 또는 일부 도로 지역에서 반사정보를 취득하지 못할 수 있으며, 이로 인해 5cm×5cm 격자 내에 반사강도가 없는 빈 격자가 존재할 수 있다. 본 연구에서는 도로 노면 표시로부터 특징점을 검출하고자 하였으며, 도로 상에 이러한 빈 격자가 존재할 경우 현저한 값을 가지는 빈 격자가 특징점으로 검출될 수 있다. 이는 결국 데이터 내에 빈 격자가 다수 존재할 경우 특징점 기반의 매칭 결과에 영향을 미칠 수 있다는 것을 의미한다.
이는 결국 데이터 내에 빈 격자가 다수 존재할 경우 특징점 기반의 매칭 결과에 영향을 미칠 수 있다는 것을 의미한다. 이러한 문제를 해결하기 위해 각 픽셀이 포함하고 있는 반사강도의 통계값을 이용하고자 하였다.
최근 정밀한 공간정보 데이터에 대한 요구가 증가함에 따라 다양한 공간정보 데이터를 융합하여 활용하기 위한 연구가 활발하게 진행되고 있다. 항공에서 촬영하는 UAV 영상의 경우 촬영지역에 따라 정확한 위치정보를 취득하기 어려울 수 있으며, 이에 따라 본 연구에서는 MMS로부터 취득된 LiDAR 데이터와 UAV 영상의 정합을 위한 정합쌍을 추출하기 위한 연구를수행하였다. 주요 결과는 다음과 같다.
제안 방법
2.5.2 어파인 변환을 통한 정합 정확도 산정 본 연구에서는 총 9가지 매칭 기법을 통해 추출된 정합점을 이용하여 두 영상간의 관계를 어파인 변환으로 표현하였다. 어파인 변환은 x, y축에 대한 스케일, 비직교성(nonorthogonality), 회전, 그리고 대칭이동으로 정합점간의 관계를 표현하며, 식 (3)과 같다.
LiDAR 반사영상과 UAV 영상의 정합을 위한 특징점 기반의 매칭 기법을 상호비교·분석하고자 하였으며, 매칭 정확도와 정합 정확도의 두 가지 방법을 이용하여 정확도를 평가하였다.
6개의 어파인 변환계수를 구하기 위해서는 최소 3개의 정합쌍이 존재해야 하며, 3개 이상의 정합쌍이 존재할 경우 최소제곱법(least square method)을 통해 어파인 변환계수를 추정할 수 있다. 각 매칭 기법에 따른 기술자를 이용하여 어파인 변환 계수를 추정한 후, 이를 이용하여 대상영상의 특징점 좌표를 기준영상 좌표체계로 변환하였다. 변환된 대상영상의 특징점과 기준영상의 검사점간의 RMSE를 이용하여 정합 정확도를 평가하였다(식 (4))
분석에 사용된 각 영상으로부터 검사점을 추출하고 이를 이용하여 어파인 변환계수를 산정하였다. 검사점을 이용하여 산정된 어파인 변환계수를 UAV 영상으로부터 추출된 정합점에 적용하였으며, 이때 변환된 UAV 영상의 정합점이 MMS 영상의 정합점을 기준으로 특정 범위 내에 포함되면 참인 정합쌍으로 간주하였다. 본 연구에서 사용된 UAV 영상의 경우 촬영각도에 따라 왜곡 정도가 심할 수 있다.
분석에 사용된 MMS 데이터의 경우에는 도로 노면을 중심으로 데이터가 구축되어 있으며, 이에 따라 MMS 반사영상은 도로 노면으로부터 취득된 반사강도 정보가 대부분을 이루고 있을 가능성이 높다. 따라서 Fig. 3과 같이 MMS 반사영상에 대한 히스트로그램을 작성한 후 빈도수가 가장 높은 반사강도 값을 빈 픽셀에 부여하였다. 이를 통해 오검출되는 특징점의 수를 현저하게 저감시킬 수 있을 뿐만 아니라 노면 표시 정보를 이용하여 보다 정확한 정합점 추출이 가능할 수 있다.
따라서 이와 같이 구성된 5cm×5cm의 격자에 해당되는 반사강도를 할당하기 위하여 각 격자에 해당하는 점군데이터 중 표고 Z값이 가장 낮은 점의 반사강도 값을 적용하였다.
본 연구에서 사용된 UAV 영상의 경우 촬영각도에 따라 왜곡 정도가 심할 수 있다. 따라서 충분한 범위를 임계값으로 설정하고자 하였으며, 매칭 기법을 통해 MMS 영상에 대해 추출된 정합점으로부터 20픽셀(약 1m) 이내로 들어오면 참값으로 산정하였다. 매칭 정확도를 구하는 방법은 식 (2)와 같다.
, 2007). 따라서본 연구에서는 점군데이터를 격자 형식으로 변환하기 위해 격자영상을 생성하고 점군데이터로부터 반사강도 값을 추출하여 반사영상을 생성하였다. 본 연구에서 사용한 원 LiDAR 점군데이터는 약 5cm 간격으로 구성되어 있으며, 이에 따라 2차원 영상을 구성하기 위하여 5cm 격자영상을 구성하였다.
본 연구에서 적용된 각 매칭 기법과 RANSAC 알고리즘을 통해 추출된 최종 정합쌍에 대한 정확도를 평가하기 위해 매칭 정확도와 정합 정확도의 두 가지 방향으로 분석을 수행하였다. 매칭 정확도를 측정하기 위해 주로 사용되는 방법은 추출된 정합쌍에서 참인 정합쌍의 수와 오정합쌍의 수를 이용하여 구할 수 있다(Mikolajczyk and Schmid, 2005; Miksik and Mikolajczyk, 2012; Peng et al.
본 연구에서는 MMS로부터 취득된 LiDAR 데이터를 사용했기 때문에 도로지역을 대상으로 매칭성능을 비교·분석하였다.
Lindeberg(2015)는 매칭 성공 기준을 정하기 위해 각 영상에서 추출된 정합점을 중심으로 원형범위를 설정하고 변환계수를 통해 변환된 정합쌍의 중복도를 이용하여 매칭 성공여부를 판단하였다. 본 연구에서는 이러한 개념을 기반으로 기준 정합점을 중심으로 임계값을 부여하여 참인 정합쌍을 추출하였다.
본 장에서는 실험을 통하여 지금까지 기술한 영상매칭 기법의 성능을 평가하였다. 실험은 Intel(R) Core(TM) i5-7500 CPU@ 3.
분석에 사용된 각 영상으로부터 검사점을 추출하고 이를 이용하여 어파인 변환계수를 산정하였다. 검사점을 이용하여 산정된 어파인 변환계수를 UAV 영상으로부터 추출된 정합점에 적용하였으며, 이때 변환된 UAV 영상의 정합점이 MMS 영상의 정합점을 기준으로 특정 범위 내에 포함되면 참인 정합쌍으로 간주하였다.
, 2012). 실험환경에서 구현이 가능하도록 Shi-Tomasi, ORB, KAZE 알고리즘의 경우에는 강력한 특징을 가지는 50,000개의 특징점을 이용하여 정합쌍 추출을 수행하였다.
이후 잘못된 정합쌍을 제거하기 위해 RANSAC (RANdom SAmple Consensus) 알고리즘을 적용하였으며, 최종적으로 추출된 정합쌍을 이용하여 변환계수를 추정하였다. 이를 기반으로 매칭 정확도와 정합 정확도의 두 가지 측면에서 정확도 평가를 수행하였다.
특히 BRISK (Binary Robust Invariant Scalable Keypoints), FAST (Features from Accelerated Segment Test), Harris corner, Shi-Tomasi, MSER (Maximally Stable External Regions), ORB (Oriented FAST and Rotated BRIEF), SURF (Speed Up Robust Features), KAZE, SIFT의 총 9가지 매칭 기법을 비교·분석하였다.
대상 데이터
WingtraOne RX1에 탑재된 카메라 제원은 Sony DSCRX1RM2이며, 7072×5304 픽셀의 영상을 촬영할 수 있다. 기준영상으로는 MMS에 탑재된 Leica Pegasus:Two를 사용하였다. 총 8대의 카메라와 레이저 스캐너 장비가 포함되어 있으며, 360도의 영상 및 점군데이터를 취득할 수 있다.
본 연구에서 사용된 UAV 영상은 WingtraOne RX1를 이용하여 촬영되었으며, 120m고도에서 촬영이 이루어질 때 210ha 지역에 대한 촬영이 가능하고 이 때 해상도는 1.5cm이다. WingtraOne RX1에 탑재된 카메라 제원은 Sony DSCRX1RM2이며, 7072×5304 픽셀의 영상을 촬영할 수 있다.
따라서본 연구에서는 점군데이터를 격자 형식으로 변환하기 위해 격자영상을 생성하고 점군데이터로부터 반사강도 값을 추출하여 반사영상을 생성하였다. 본 연구에서 사용한 원 LiDAR 점군데이터는 약 5cm 간격으로 구성되어 있으며, 이에 따라 2차원 영상을 구성하기 위하여 5cm 격자영상을 구성하였다. 또한 본 연구에서는 도로 노면으로부터 정합점을 추출하고자 하였으며, 도로의 경우 지물 중에서도 가장 낮은 곳에 위치할 가능성이 높다.
기준영상으로는 MMS에 탑재된 Leica Pegasus:Two를 사용하였다. 총 8대의 카메라와 레이저 스캐너 장비가 포함되어 있으며, 360도의 영상 및 점군데이터를 취득할 수 있다.
데이터처리
각 매칭 기법에 따른 기술자를 이용하여 어파인 변환 계수를 추정한 후, 이를 이용하여 대상영상의 특징점 좌표를 기준영상 좌표체계로 변환하였다. 변환된 대상영상의 특징점과 기준영상의 검사점간의 RMSE를 이용하여 정합 정확도를 평가하였다(식 (4))
본 연구에서 적용한 매칭 기법을 통해 추출된 정합쌍을 이용하여 어파인 변환계수를 추정하고, 추정한 어파인 변환계수를 통해 변환된 영상을 이용하여 RMSE를 계산하였다. Table 4를 살펴보면 매칭 정확도에 대한 분석결과와 유사한 결과를 나타내고 있으며, SIFT 알고리즘을 적용한 경우 대부분 가장 낮은 RMSE값을 나타내는 것을 확인할 수 있었다.
이론/모형
40 GHz, 32 GB RAM 사양의 Windows 10 환경에서 수행되었다. BRISK, FAST, Harris corner, Shi-Tomasi, MSER, ORB, SURF, KAZE의 알고리즘 구현에는 MATLAB R2019b의 Computer Vision Toolbox가 사용되었으며, SIFT 알고리즘 구현에는 VLFeat library를 이용하였다(Vedaldi et al., 2012). 실험환경에서 구현이 가능하도록 Shi-Tomasi, ORB, KAZE 알고리즘의 경우에는 강력한 특징을 가지는 50,000개의 특징점을 이용하여 정합쌍 추출을 수행하였다.
SIFT는스케일 변화에 영향이 적은 특징점을 추출할 수 있다는 장점이 있으나, 계산비용이 높다는 특징을 가지고 있다(Tareen and Saleem, 2018). SURF 알고리즘은 연산량을 감소시키기 위해 특징점을 추출하고 기술자를 생성하는 과정에서 적분 영상(integral image)을 사용하였다. 검출된 특징점 중심에서 주 방향성(dominant orientation)에 대한 각도를 추출하고 하위영역 내에서 기울기 정보를 표현 벡터로 사용한다는 점에서 SIFT와 유사하나, SIFT는 필터 사이즈를 고정시키고 영상 스케일을 변화시키면서 특징을 추출하는 반면에 SURF는 영상 스케일을 고정시키고 박스 필터 크기를 변경하면서 적용한다는 점에서 차이가 있다.
, 2016). 또한 이종 영상의 정합정확도를 확인하기 위해 RMSE (Root Mean Square Error)가 일반적으로 가장 많이 사용되며(Li et al., 2009; Tsai and Lin, 2017), 이에 따라 본 연구에서는 다음과 같이 정확도 평가를 수행하였다.
매칭 기법을 이용하여 추출된 정합쌍에는 잘못된 정합쌍이 포함될 수 있으며, 이러한 오정합쌍을 제거하기 위해 본 연구에서는 RANSAC (RANdom SAmple Consensus) 알고리즘을 적용하였다. RANSAC 알고리즘은 Fischler and Bolles(1981)에 의해 제안되었으며, 이상치를 포함하고 있는 초기 정합쌍에 대해 오정합쌍을 제거하기 위한 방법이다.
본 연구에서는 MMS에서 취득한 점군데이터의 반사영상과 UAV 영상과의 정합점 추출을 위하여 기존에 잘 알려져 있는 특징점 기반의 매칭 기법을 적용하였다. 특히 BRISK (Binary Robust Invariant Scalable Keypoints), FAST (Features from Accelerated Segment Test), Harris corner, Shi-Tomasi, MSER (Maximally Stable External Regions), ORB (Oriented FAST and Rotated BRIEF), SURF (Speed Up Robust Features), KAZE, SIFT의 총 9가지 매칭 기법을 비교·분석하였다.
MMS로부터 취득된 3차원 LiDAR 데이터와 UAV 영상을 정합하기 위한 정합점을 추출하기 위해 본 연구에서는 3차원 점군데이터로 구성된 LiDAR 데이터를 평면시점 영상으로 변환하여 매칭 기법을 적용하였다. 이후 잘못된 정합쌍을 제거하기 위해 RANSAC (RANdom SAmple Consensus) 알고리즘을 적용하였으며, 최종적으로 추출된 정합쌍을 이용하여 변환계수를 추정하였다. 이를 기반으로 매칭 정확도와 정합 정확도의 두 가지 측면에서 정확도 평가를 수행하였다.
성능/효과
LiDAR 장비를 통해 취득되는 데이터는 레이저 광 펄스가 물체에 반사되어 돌아오는 정보를 이용하여 3차원 모델을 구성하며, Fig. 2(a)와 같이 MMS 차량이 지나가는 경로에 따라 가까운 지역의 경우에는 밀도가 높은 점군데이터의 취득이 가능하지만 차량에서 멀어질수록 레이저 광선이 충분히 도달하지 못하기 때문에 점군데이터의 밀도가 낮아지는 것을 확인할 수 있다. UAV 영상의 경우에는 Fig.
6(b)와 (c)와 같이 인근에 유사한 도로 노면표시 패턴이 존재함에 따라 붉은 원으로 표시된 부분이 동일한 지점임에도 불구하고 잘못된 정합쌍이 추출되었다. CASE 2의 IMG#1 영상은 MMS 반사영상과의 중복도가 IMG#2 보다 약 20% 높게 촬영되었으며, CASE 2의 IMG#2 영상에서는 참인 정합쌍이 추출되었다. 반복되는 노면 표시가 존재할 경우 충분한 중복도가 확보되면 정확한 정합쌍의 추출이 가능하다는 것을 알 수 있다.
SIFT 알고리즘을 사용하였을 때 가장 높은 매칭 정확도를 나타내고 있으며, SURF, ORB, MSER, BRISK 알고리즘의 경우에는 데이터 취득 지역 및 영상에 따라 다른 결과를 나타내고 있는 것을 확인할 수 있다. FAST, Harris corner, Shi-Tomasi, ORB 알고리즘의 경우에는 스케일에 대한 불변성이 없는 기법들로 적절한 정합쌍을 추출하지 못하였으며, KAZE 알고리즘은 스케일에 불변함에도 불구하고 적절한 정합쌍을 추출하지 못한 것을 확인할 수 있다.
7과 같다. KAZE 기법을 적용하였을 때 평균 465.3068초로 가장 많은 시간이 소요되었으나 적절한 정합쌍을 전혀 추출하지 못하였으며, SIFT가 평균 109.1022초로 그 다음으로 많은 시간이 소요되었으며 가장 정확한 결과를 도출하였다. SURF 알고리즘의 경우 총 15장의 영상 중에서 9장의 영상에서 일부 또는 전체에 대해 정확한 정합쌍을 추출하였으며, 평균 소요시간은 5.
77픽셀로 정확한 정합이 이루어진 것을 알 수 있다. ORB 알고리즘의 경우에는 CASE 3의 IMG# 2와 4에서 RMSE가 1.47~4.93픽셀로 정합된 것으로 분석되었으며, ORB와 SURF 알고리즘의 경우 CASE 3에 포함된 영상에서 일부 적절한 정합쌍이 추출된 것을 확인 할 수 있었다. CASE 1의 경우에는 도로 노면의 패턴이 다양하지 않고 차량이 많음으로 인해 충분한 정합쌍이 추출되지 않은 것으로 판단된다.
4와 같다. SIFT 알고리즘을 사용하였을 때 가장 높은 매칭 정확도를 나타내고 있으며, SURF, ORB, MSER, BRISK 알고리즘의 경우에는 데이터 취득 지역 및 영상에 따라 다른 결과를 나타내고 있는 것을 확인할 수 있다. FAST, Harris corner, Shi-Tomasi, ORB 알고리즘의 경우에는 스케일에 대한 불변성이 없는 기법들로 적절한 정합쌍을 추출하지 못하였으며, KAZE 알고리즘은 스케일에 불변함에도 불구하고 적절한 정합쌍을 추출하지 못한 것을 확인할 수 있다.
Table 4를 살펴보면 매칭 정확도에 대한 분석결과와 유사한 결과를 나타내고 있으며, SIFT 알고리즘을 적용한 경우 대부분 가장 낮은 RMSE값을 나타내는 것을 확인할 수 있었다. SIFT 알고리즘을 이용한 CASE 1의 IMG#1의 경우에는 매칭 정확도가 0.2727로 낮은 수준으로 나타났으나, 위에서 언급한 바와 같이 이는 촬영 당시 UAV 자세로 인해 영상이 왜곡되어 촬영된 것으로 판단되며 RMSE는 14.81픽셀로 분석되었다. 매칭 정확도가 1로 모두 참의 정합쌍이 추출되었을 경우에는 RMSE가 1.
둘째, 도로 노면 표시가 반복적으로 존재하는 경우 SIFT 알고리즘을 적용하였을 때 기준영상과의 중복도에 따라 결과가 다르게 나타나는 것을 확인할 수 있었다. 노면 표시의 경우 반복적으로 구성될 수 있으며, MMS로부터 취득된 기준영상과 UAV 영상으로부터 정합쌍을 추출하는데 있어서 충분한 중복도는 중요한 고려요소라고 할 수 있다.
18°으로 본 영상에 사용된 UAV 영상 중 롤링과 요잉이 가장 큰 영상이다. 따라서 큰 왜곡을 포함하고 있는 CASE 1의 IMG#1 영상의 경우 매칭 정확도가 낮은 것으로 분석되었으나, 실제 육안으로 정합점을 살펴보면 Fig. 5와 같이 정확하게 추출된 것을 확인할 수 있다.
81픽셀로 분석되었다. 매칭 정확도가 1로 모두 참의 정합쌍이 추출되었을 경우에는 RMSE가 1.34~9.39픽셀 정도로 분석되었으며, SIFT 알고리즘을 이용하여 정합한 결과를 살펴보면 Fig. 8과 같다. 영상 촬영당시 왜곡된 영상을 단순 어파인 변환을 통해 평가했다는 점을 감안하면 합리적인 분석 결과라고 할 수 있다.
CASE 2의 IMG#1 영상은 MMS 반사영상과의 중복도가 IMG#2 보다 약 20% 높게 촬영되었으며, CASE 2의 IMG#2 영상에서는 참인 정합쌍이 추출되었다. 반복되는 노면 표시가 존재할 경우 충분한 중복도가 확보되면 정확한 정합쌍의 추출이 가능하다는 것을 알 수 있다.
전처리 적용 전 특징점 검출 결과를 살펴보면 빈픽셀이 다수 존재하는 지역에서 다수의 특징점이 검출된 것을 확인할 수 있으며, 이러한 특징점들은 정합점 추출 결과에 영향을 줄 수 있을뿐 만 아니라 불필요한 연산 과정을 수행하게 된다. 본 연구에서 제안한 전처리 방법을 LiDAR 데이터에 적용한 결과 추출된 특징점의 수는 최대 20배 이상 감소된 것을 확인할 수 있으며, 도로 노면 표시에 대해 특징점이 보다 뚜렷하게 검출된 것을 확인할 수 있다(Table 1).
셋째, 도로에 차량이 많지 않고 다양한 도로 노면표시가 존재할 경우 ORB, SURF의 알고리즘은 일부 영상에서 정확한 정합쌍을 추출하는 것을 확인할 수 있었다. 하지만 다양한 도로상황에 대한 적용이 어려움에 따라 도로지역을 대상으로 MMS 영상 데이터와 UAV 영상 정합에 있어서는 활용이 어려울 것으로 판단된다.
첫째, BRISK, FAST, Harris corner, Shi-Tomasi, MSER, ORB, SURF, KAZE, SIFT의 총 9가지 매칭 기법을 이용하여 비교·분석을 수행하였으며, SIFT 알고리즘을 적용한 경우 2개의 영상을 제외한 모든 영상에서 매칭 정확도 1로 정확한 정합쌍 추출 결과를 도출하였으나, 다른 알고리즘의 경우 모든 영상 또는 대부분의 영상에서 적절한 정합쌍을 추출하지 못한 것으로 분석되었다.
후속연구
본 연구에서는 MMS로부터 취득된 LiDAR 데이터를 사용했기 때문에 도로지역을 대상으로 매칭성능을 비교·분석하였다. SIFT 알고리즘을 이용하여 정밀한 정합쌍을 추출한 것을 확인할 수 있었으며, 향후 UAV 영상의 EOP (Exterior Orientation Parameters) 파라미터의 보정을 통해 정밀한 정사영상 및 3차원 점군데이터를 구축할 수 있을 것으로 사료된다. 또한 LiDAR 데이터와 UAV 점군데이터와의 정합을 통해 정밀한 3차원 모델의 구축이 가능할 것으로 판단된다.
노면 표시의 경우 반복적으로 구성될 수 있으며, MMS로부터 취득된 기준영상과 UAV 영상으로부터 정합쌍을 추출하는데 있어서 충분한 중복도는 중요한 고려요소라고 할 수 있다. UAV 영상 촬영 당시 취득된 영상의 위치정보를 이용하여 MMS 데이터로부터 적정 영역을 추출하여 정합점 추출을 수행할 경우에는 높은 중복도의 MMS 데이터를 추출하여 사용가능할 것으로 기대된다.
SIFT 알고리즘을 이용하여 정밀한 정합쌍을 추출한 것을 확인할 수 있었으며, 향후 UAV 영상의 EOP (Exterior Orientation Parameters) 파라미터의 보정을 통해 정밀한 정사영상 및 3차원 점군데이터를 구축할 수 있을 것으로 사료된다. 또한 LiDAR 데이터와 UAV 점군데이터와의 정합을 통해 정밀한 3차원 모델의 구축이 가능할 것으로 판단된다.
질의응답
핵심어
질문
논문에서 추출한 답변
MMS의 주요 구성 요소 중 하나는?
최근 3차원 공간정보에 대한 수요가 증가하고 있으며, 이러한 공간정보가 실생활과 연계됨에 따라 실제 공간상의 변화를 반영할 수 있는 신속하고 정확한 데이터 구축의 중요성이 증대되고 있다. 또한 이동수단에 내비게이션 센서를 포함한 다중센서를 탑재하여 데이터를 취득하는 MMS (Mobile Mapping System)의 활용성이 증가하는 추세에 있으며, 레이저 관측 및 항법 센서의 정확도가 향상됨에 따라 이동식 레이저 스캐너는 모든 MMS의 주요 구성요소 중 하나가 되었다(Hong et al., 2017).
LiDAR란?
LiDAR (Light Detection and Ranging)는 고출력의 펄스레이저를 이용하여 물체에 반사되어 돌아오는 레이저 빔의 시간을 측정하여 거리정보를 취득하는 기술이다(COMPA, 2017). LiDAR에 의해 취득된 점군데이터는 반사점으로부터 정확한 3차원 데이터를 취득할 수 있으나, 차량에 탑재된 센서에 의해 데이터를 취득하기 때문에 다른 물체에 의해 시야가 가려지거나 건물 지붕과 같은 경우에는 데이터 취득에 어려움이 있다.
MMS로부터 취득된 LiDAR 점군데이터를 반사영상으로 변환한 데이터와 UAV 영상 데이터의 정합을 위해 9가지의 특징점 기반매칭 기법을 분석한 결과는?
따라서 본 연구에서는 MMS로부터 취득된 LiDAR 점군데이터를 반사영상으로 변환한 데이터와 UAV 영상 데이터의 정합을 위해 9가지의 특징점 기반매칭 기법을 비교·분석하였다. 분석 결과 SIFT (Scale Invariant Feature Transform) 기법을 적용하였을 때 안정적으로 높은 매칭 정확도를 확보할 수 있었으며, 다양한 도로 환경에서도 충분한 정합점을 추출할 수 있었다. 정합 정확도 분석 결과 SIFT 알고리즘을 적용한 경우 중복도가 낮으며 동일한 패턴이 반복되는 경우를 제외하고는 약 10픽셀 수준으로 정확도를 확보할 수 있었으며, UAV 영상 촬영 당시 UAV 자세에 따른 왜곡이 포함되어 있음을 감안할 때 합리적인 결과라고 할 수 있다.
참고문헌 (37)
Abayowa, B.O., Yilmaz, A., and Hardie, R.C. (2015), Automatic registration of optical aerial imagery to a LiDAR point cloud for generation of city models, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 106, pp. 68-81.
Abedini, A., Hahn, M., and Samadzadegan, F. (2008), An investigation into the registration of LiDAR intensity data and aerial images using the SIFT approach, In International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXVII, pp. 169-176.
Alcantarilla, P.F., Bartoli, A., and Davison, A.J. (2012), KAZE features, In European Conference on Computer Vision, Springer, Berlin, Heidelberg, pp. 214-227.
Bohm, J. and Becker, S. (2007), Automatic marker-free registration of terrestrial laser scans using reflectance, In Proceedings of the 8th Conference on Optical 3D Measurement Techniques, Zurich, Switzerland, pp. 9-12.
Commercializations Promotion Agency for R&D Outcomes (COMPA), (2017), LiDAR Technology and Market Trends, S&T Market Report, Vol. 54, 16p. (in Korean)
Conte, G. and Doherty, P. (2008), An integrated UAV navigation system based on aerial image matching, In 2008 IEEE Aerospace Conference, IEEE, pp. 1-10.
Fernandez, J.C., Singhania, A., Caceres, J., Slatton, K.C., Starek, M., and Kumar, R. (2007), An Overview of Lidar Point Cloud Processing Software, GEM Center Report No. Rep_2007-12-001, University of Florida, 27p.
Fischler, M.A. and Bolles, R.C. (1981), Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, Vol. 24, No. 6, pp. 381-395.
Guan, H., Li, J., Yu, Y., Wang, C., Chapman, M., and Yang, B. (2014). Using mobile laser scanning data for automated extraction of road markings, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 87, pp. 93-107.
Harris, C.G. and Stephens, M. (1988), A combined corner and edge detector. In Alvey Vision Conference, Vol. 15, No. 50, pp. 10-5244.
Hong, S., Park, I., Lee, J., Lim, K., Choi, Y., and Sohn, H.G. (2017), Utilization of a terrestrial laser scanner for the calibration of mobile mapping systems, Sensors, Vol. 17, No. 3, 24p.
Kim, T. and Im, Y.J. (2003), Automatic satellite image registration by combination of matching and random sample consensus, IEEE transactions on geoscience and remote sensing, Vol. 41, No. 5, pp. 1111-1117.
Kim, M. (2005), The Study on Road Extraction Using LiDAR Data, Master's thesis, Inha University, Incheon, Korea, 62p. (in Korean with English abstract)
Kim, S., Yoo, H., and Sohn, K. (2012), FAST and BRIEF based real-time feature matching algorithms, In Proceedings of the Korean Society of Broadcast Engineers Conference, pp. 1-4. (in Korean)
Li, Q., Wang, G., Liu, J., and Chen, S. (2009), Robust scaleinvariant feature matching for remote sensing image registration, IEEE Geoscience and Remote Sensing Letters, Vol. 6, No. 2, pp. 287-291.
Lindeberg, T. (2015), Image matching using generalized scalespace interest points, Journal of Mathematical Imaging and Vision, Vol. 52, No. 1, pp. 3-36.
Liu, S., Tong, X., Chen, J., Liu, X., Sun, W., Xie, H., Chen, P., Jin, Y., and Ye, Z. (2016), A linear feature-based approach for the registration of unmanned aerial vehicle remotely-sensed images and airborne LiDAR data, Remote Sensing, Vol. 8, No. 2, 15p.
Lowe, D. (2004), Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110.
Matas, J., Chum, O., Urban, M., and Pajdla, T. (2004), Robust wide-baseline stereo from maximally stable extremal regions, Image and Vision Computing, Vol. 22, pp. 761-767.
Mikolajczyk, K. and Schmid, C. (2005), A performance evaluation of local descriptors, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, pp. 1615-1630.
Mikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J., Schaffalitzky, F., Kadir, T., and Van Gool, L. (2005), A Comparison of Affine Region Detectors, International Journal of Computer Vision, Vol. 65, pp. 43-72.
Miksik, O. and Mikolajczyk, K. (2012), Evaluation of local detectors and descriptors for fast feature matching, In Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), IEEE, pp. 2681-2684.
Moravec, H. (1980), Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover, No. STAN-CS-80-813, Stanford University, California, USA.
Nho, H. (2018), Fast Geocoding Processing for Low-cost Unmanned Aerial Vehicle Imagery, Master's thesis, Yonsei University, Seoul, Korea, 69p.
Palenichka, R.M. and Zaremba, M.B. (2010), Automatic extraction of control points for the registration of optical satellite and LiDAR images, IEEE Transactions on Geoscience and Remote sensing, Vol. 48, No. 7, pp. 2864-2879.
Park, S., Kim, J., and Yoo, J. (2015), Fast stitching algorithm by using feature tracking, Journal of Broadcast Engineering, Vol. 20, No. 5, pp. 728-737. (in Korean with English abstract)
Park, J., Kim, P., Cho, Y.K., and Kang, J. (2019), Framework for automated registration of UAV and UGV point clouds using local features in images, Automation in Construction, Vol. 98, pp. 175-182.
Peng, W.H., Lee, M.Y., Li, T.H., Huang, C.H., and Lin, P.C. (2016), Performance comparison of image keypoint detection, description, and matching methods, In 2016 IEEE 5th Global Conference on Consumer Electronics, IEEE, pp. 1-2.
Persad, R.A. and Armenakis, C. (2016), Co-registration of DSMs generated by UAV and terrestrial laser scanning systems, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLI-B1, pp. 985-990.
Rosten, E. and Drummond, T. (2006), Machine learning for high speed corner detection, In 9th Euproean Conference on Computer Vision, Vol. 1, pp. 430-443.
Schmind, C., Mohr, R., and Bauckhage, C. (2000), Evaluation of interest point detectors, International Journal of Computer Vision, Vol. 37, No. 2, pp. 151-172.
Shi, J. and Tomasi, C. (1994), Good Features to Track, CVPR.
Tareen, S.A.K. and Saleem, Z. (2018), A comparative analysis of sift, surf, kaze, akaze, orb, and brisk, In 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET), IEEE, pp. 1-10.
Tsai, C.H. and Lin, Y.C. (2017), An accelerated image matching technique for UAV orthoimage registration, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 128, pp. 130-145.
Vedaldi, A. and Fulkerson, B. (2010), VLfeat: An open and portable library of computer vision algorithms, In Proceedings of the 18th ACM international conference on Multimedia, Firenze, Italy, pp. 25-29.
Verma, S.B. and Chandran, S. (2016), Comparative Study of FAST MSER and Harris for Palmprint Verification System, International Journal of Scientific & Engineering Research, Vol. 7, No. 12, pp. 855-858.
Yang, B. and Chen, C. (2015), Automatic registration of UAVborne sequent images and LiDAR data, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 101, pp. 262-274.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.