[논문]무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구

이수암; 김한결; 김태정

doi:10.7780/kjrs.2022.38.6.1.4

초록
AI-Helper

본 논문에서는 건물의 포인트 클라우드를 추출할 때 발생하는 홀 영역의 보간을 통한 후처리 방안을 제안한다. 스테레오 영상 데이터에서 영상 매칭을 수행할 경우 차폐 및 건물 벽면 등의 영향으로 홀이 발생한다. 이런 영역은 추후 포인트 클라우드를 기반으로 하는 부가 산출물의 생성에 장애 요인이 될 수 있으므로, 이에 대한 효과적인 처리 기법의 적용이 필요하다. 먼저 영상 매칭을 적용하여 생성된 시차맵을 기반으로 초기 포인트 클라우드를 추출한다. 포인트 클라우드를 격자화 시키면 차폐영역 및 건물 벽면의 영향으로 발생하는 홀 영역을 확인할 수 있다. 홀 영역에 삼각망을 생성하고 삼각망 내부 값을 영역의 최소값으로 처리하는 과정을 반복하는 것으로 건물 주변의 지표면과 건물 간에 어색함 없는 보간의 수행이 가능하다. 격자화 된 데이터에서 보간 된 영역에 해당하는 위치정보를 포인트로 추가하여 새로운 포인트 클라우드를 생성한다. 보간과정 중 불필요한 점의 추가를 최소화하기 위해 초기 포인트 클라우드 영역에서 벗어나는 영역으로 보간 된 데이터는 처리하지 않았으며, 보간 된 포인트 클라우드에 적용되는 RGB 밝기값은 매칭에 사용된 스테레오 영상 중 촬영중심과 해당 픽셀이 가장 근접한 영상으로 설정하여 처리하였다. 실험 결과 제안 기법을 통해 대상영역의 포인트 클라우드 생성 후 발생하는 음영 영역이 효과적으로 처리되는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we propose a post-processing method through interpolation of hole regions that occur when extracting point clouds. When image matching is performed on stereo image data, holes occur due to occlusion and building façade area. This area may become an obstacle to the creation of a...

In this paper, we propose a post-processing method through interpolation of hole regions that occur when extracting point clouds. When image matching is performed on stereo image data, holes occur due to occlusion and building façade area. This area may become an obstacle to the creation of additional products based on the point cloud in the future, so an effective processing technique is required. First, an initial point cloud is extracted based on the disparity map generated by applying stereo image matching. We transform the point cloud into a grid. Then a hole area is extracted due to occlusion and building façade area. By repeating the process of creating Triangulated Irregular Network (TIN) triangle in the hall area and processing the inner value of the triangle as the minimum height value of the area, it is possible to perform interpolation without awkwardness between the building and the ground surface around the building. A new point cloud is created by adding the location information corresponding to the interpolated area from the grid data as a point. To minimize the addition of unnecessary points during the interpolation process, the interpolated data to an area outside the initial point cloud area was not processed. The RGB brightness value applied to the interpolated point cloud was processed by setting the image with the closest pixel distance to the shooting center among the stereo images used for matching. It was confirmed that the shielded area generated after generating the point cloud of the target area was effectively processed through the proposed technique.

Keyword

표/그림 (15)

그림 Fig. 1. Test dataset.
그림 Fig. 2. Stereo image sample dataset.
표 Table 1. Sensor properties of Phantom4 imagery
그림 Fig. 3. Flow chart for proposed method.
그림 Fig. 4. Extracted epipolar images.
그림 Fig. 5. Extracted disparity maps.
그림 Fig. 7. Height map interpolation method.
그림 Fig. 6. Extracted height map.
그림 Fig. 8. Boundary mask on height map.
그림 Fig. 9. Height map interpolation results: (a) epipolar image, (b) height map without interpolation, (c) TIN, (d) TIN Min, and (e) proposed method.
그림 Fig. 10. Updated point cloud results: (a) initial point cloud, (b) point cloud with left RB image, (c) point cloud with right RGB image, and (d) proposed method.
그림 Fig. 11. Height map results: (a) height map without interpolation and (b) proposed method.
그림 Fig. 12. Updated point cloud results: (a) initial point cloud and (b) proposed method.
그림 Fig. 13. Reference height map from LiDAR data.
표 Table 2. Height map errors (in meter) before and after interpolation

AI 본문요약
AI-Helper

문제 정의

음영지역은 촬영되어 영상정보가 있음에도 불구하고, 스테레오 영상 매칭이 되지 않아 위치정보의 획득이 되지 않는다. 본 연구에서는 이러한 음영지역을 효과적으로 제거하기 위해 높이맵에서의 보간을 기반으로 한 포인트 클라우드의 갱신기법을 적용하고 그 효용성을 분석하고자 하였다. 높이맵에서의 보간은 반복적인 삼각망을 생성하여 브레이크 라인의 형태를 유지하는 방안이 적용되었으며, 높이맵에서의 라벨링을 수행하여 초기 바운더리 마스크를 생성하여 매칭영역 바운더리에서 발생할 수 있는 노이즈를 효과적으로 제거할 수 있었다.

제안 방법

이에 본 논문에서는 무인항공기 촬영 데이터를 대상으로 영상 외의 다른 외부 데이터 없이 스테레오 영상 매칭 수행 결과에서 발생하는 홀을 보정하고 이를 포인트 클라우드에 적용하여 더 높은 품질의 포인트 클라우드를 생성할 수 있는 방안을 제안한다.
제안 기법은 높이맵 내에서 발생한 홀 주변의 점 정보를 수집하여 홀에 대응되는 삼각망을 만든다. 삼각망의 구축이 완료되면 세 꼭지점 중 가장 높이가 작은 점을 선정하여 삼각망의 내부 중심에 추가하고 추가된 점으로 다시 삼각망을 구축하여 개선된 삼각망을 생성한다.
본 논문에서는 높이맵에서의 보간을 수행한 후 수행 결과를 다시 포인트 클라우드로 변환하는 방식으로 포인트 클라우드 정보의 업데이트를 시도하였다. 포인트 클라우드의 업데이트는 바운더리 마스크 영역을 제외하고 수행된다.
보간 영역은 스테레오 영상 매칭에서 매칭 실패가 원인이 되어 발생한 영역이므로, 매칭에 사용된 두 영상에서 상대적으로 지표면정보가 많이 포함되는 영상을 선정해야 한다. 이에, 업데이트 할 점을 좌우 각 영상에 투영시켜 촬영중심과 해당 픽셀이 가장 근접한 영상을 선정하여 포인트 클라우드에 RGB 밝기값을 부여하였다. 보간 영역에서 생성된 포인트 클라우드를 매칭 결과로 추출된 포인트 클라우드와 결합하여 갱신하는 것으로 최종 포인트 클라우드의 생성이 마무리된다.
본 논문에서는 스테레오 영상 매칭 결과로 생성된 높이맵에서 삼각망을 이용하여 홀 영역을 보간하고, 보간된 영역의 위치정보와 색상정보를 이용하여 포인트 클라우드를 갱신하는 기법을 제안하였다. 각 단계별로 적용된 기법의 검증을 위해 유사 기법을 선정하여 결과 비교를 수행했다.
먼저 높이맵에서의 보간 방식을 TIN 보간을 중심으로 비교검증을 수행했다. 제안된 반복적인 점 추가를 통한 홀 보간 기법 외에, 삼각망의 세점중 최소값으로 삼각망 내부를 채우는 방법, 그리고 홀 영역을 기본적인 TIN 보간 기법을 추가 적용해 보았다. 적용한 결과는 Fig.
제안 기법을 50장의 무인항공기 영상에 적용해 보았다. 50장의 영상에서 연속된 2장씩의 영상을 설정하고, 각 조합에서 영상의 매칭, 높이맵 보간 그리고 포인트 클라우드의 업데이트를 수행하여 통합된 결과를 제작하였다. Fig.
높이맵에서의 보간은 반복적인 삼각망을 생성하여 브레이크 라인의 형태를 유지하는 방안이 적용되었으며, 높이맵에서의 라벨링을 수행하여 초기 바운더리 마스크를 생성하여 매칭영역 바운더리에서 발생할 수 있는 노이즈를 효과적으로 제거할 수 있었다. 높이맵에서 보간된 영역을 다시 포인트 클라우드로 변환하여 갱신을 수행했으며, 각 점에서 가장 연직 촬영에 가까운 영상을 선정하여 밝기값을 부여했다. 그 결과로 음영 지역중 지표면에 해당하는 부분에서의 포인트 클라우드의 추가 및 밝기값 적용이 성공적으로 이루어진 것을 확인할 수 있었다.

대상 데이터

연구를 위해 DJI사의 팬텀(Phantom)4 기체를 이용하여 대한민국 인천시 연수구 송도의 다양한 건물이 밀집되어 있는 지역을 대상으로 데이터를 획득했다. 팬텀 4에서 획득된 영상센서의 사양은 Table 1과 같다.
팬텀 4에서 획득된 영상센서의 사양은 Table 1과 같다. 총 50장의 영상을 실험 데이터로 획득했으며, 각 영상은 약 5cm 수준의 Ground Sample Distance (GSD)를 가지도록 촬영되었다(Fig. 1).
제안 기법을 50장의 무인항공기 영상에 적용해 보았다. 50장의 영상에서 연속된 2장씩의 영상을 설정하고, 각 조합에서 영상의 매칭, 높이맵 보간 그리고 포인트 클라우드의 업데이트를 수행하여 통합된 결과를 제작하였다.

데이터처리

이 기법은 가장 높은 유사도, 즉 신뢰성을 가지는 대응점이 선정될 때, 기 대응점을 기준으로 탐색 영역을 재설정하여 불필요한 연산을 줄이고 속도 및 정확도의 향상을 시도한다는 특징이 있다. MDR기법의 경우 하나의 점에서의 매칭을 위해 다수의 탐색창 연산을 수행하므로 영역기반 기법의 특징인 상관도의 임계값을 설정할 수 있으며, 본 실험에서는 상관도 평가 방식으로 Normalized Cross Correlation (NCC) 기법을 설정하고 상관계수 임계값은 노이즈의 추출을 방지하기 위해 0.5로 설정하여 처리했다. 매칭 결과는 스테레오 에피폴라 각 영 상의 시차맵으로 출력된다.
본 논문에서는 스테레오 영상 매칭 결과로 생성된 높이맵에서 삼각망을 이용하여 홀 영역을 보간하고, 보간된 영역의 위치정보와 색상정보를 이용하여 포인트 클라우드를 갱신하는 기법을 제안하였다. 각 단계별로 적용된 기법의 검증을 위해 유사 기법을 선정하여 결과 비교를 수행했다.
먼저 높이맵에서의 보간 방식을 TIN 보간을 중심으로 비교검증을 수행했다. 제안된 반복적인 점 추가를 통한 홀 보간 기법 외에, 삼각망의 세점중 최소값으로 삼각망 내부를 채우는 방법, 그리고 홀 영역을 기본적인 TIN 보간 기법을 추가 적용해 보았다.
높이맵 간의 오차는 Mean Absolute Error(MAE)와 Root Mean Square Error (RMSE)로 측정하였다. 측정 결과는 Table 2와 같으며, RMSE95는 노이즈로 추정되는 5%의 포인트들을 제외하고 측정한 RMSE 수치를 의미한다.

이론/모형

본 연구에서는 MDR기법을 적용하여 영상매칭을 수행했다. MDR기법은 영역기반의 스테레오 영상 매칭 기법으로 에피폴라 라인상에서 좌우 두 영상의 매칭 후보 영역을 설정하고, 후보 영역에서 가장신뢰성이 높은 데이터부터 순차적으로 추출하는 릴렉세이션 기법을 적용하여 매칭을 수행한다.

성능/효과

5는 Fig. 4의 각 에피폴라 영상에 대응되는 시차맵으로, 좌우 영상의 공통영역에서 생성되고, 건물과 같은 객체들은 지표면보다 더 높은 값 즉, 큰 시차를 가지고 있음을 확인할 수 있다. 해당 샘플의 경우 고층 건물 등의 영향으로 시차맵 내에 null값이 설정된 검은색 영역이 존재하는 것을 확인할 수 있다.
9(d)). 제안된 기법의 경우 브레이크 라인이 유지되는 상태로 보간되었고 지형의 형태 또한 상대적으로 자연스럽게 보간 된 것을 확인할 수 있었다(Fig. 9(e)).
10(b) and (c)). 제안 기법의 경우 타 결과에 비해 가장 많은 수의 지표면 밝기값이 부여되었으며, 상대적으로 건물의 밝기값 또한 자연스럽게 적용된 것을 확인할 수 있었다(Fig. 10(d)).
정확도 검증결과 제안된 기법에서 포인트 수가 늘었음에도 불구하고 MAE와 RMSE95수치가 보간 전 보다 더 낮게 계산되었다. 이는 기복 변화가 거의 없으나, 음영지역으로 인해 손실된 지표면의 포인트 정보가 보간되어 높은 정확도의 지표면 점이 추가된 것이 원인으로 분석되며, 이 결과는 제안 기법으로 업데이트 된 포인트 클라우드의 값들이 정성적, 정량적으로도 신뢰할 수 있음을 의미한다.
정확도 검증결과 제안된 기법에서 포인트 수가 늘었음에도 불구하고 MAE와 RMSE95수치가 보간 전 보다 더 낮게 계산되었다. 이는 기복 변화가 거의 없으나, 음영지역으로 인해 손실된 지표면의 포인트 정보가 보간되어 높은 정확도의 지표면 점이 추가된 것이 원인으로 분석되며, 이 결과는 제안 기법으로 업데이트 된 포인트 클라우드의 값들이 정성적, 정량적으로도 신뢰할 수 있음을 의미한다.
본 연구에서는 이러한 음영지역을 효과적으로 제거하기 위해 높이맵에서의 보간을 기반으로 한 포인트 클라우드의 갱신기법을 적용하고 그 효용성을 분석하고자 하였다. 높이맵에서의 보간은 반복적인 삼각망을 생성하여 브레이크 라인의 형태를 유지하는 방안이 적용되었으며, 높이맵에서의 라벨링을 수행하여 초기 바운더리 마스크를 생성하여 매칭영역 바운더리에서 발생할 수 있는 노이즈를 효과적으로 제거할 수 있었다. 높이맵에서 보간된 영역을 다시 포인트 클라우드로 변환하여 갱신을 수행했으며, 각 점에서 가장 연직 촬영에 가까운 영상을 선정하여 밝기값을 부여했다.
높이맵에서 보간된 영역을 다시 포인트 클라우드로 변환하여 갱신을 수행했으며, 각 점에서 가장 연직 촬영에 가까운 영상을 선정하여 밝기값을 부여했다. 그 결과로 음영 지역중 지표면에 해당하는 부분에서의 포인트 클라우드의 추가 및 밝기값 적용이 성공적으로 이루어진 것을 확인할 수 있었다.
제안 기법은 다수의 학습데이터와 머신러닝을 이용하여 시차맵에서 음영지역을 추정하는 방법, LiDAR데이터와 같은 외부자료를 이용하여 브레이크 라인을 보완하는 기존 방식들에 비해 별도의 외부자료 없이 무인항공기 영상데이터 만을 활용하여 음영지역을 보간할 수 있다는 장점이 있다. 이 기법은 지형의 자연스러운 보간보다는 건물과 지표면의 분리에 중점을 둔 방식으로 건물과 인접한 지표면 부분에서의 활용도가 높다.

후속연구

그러나 복잡한 구조의 건물이나지표면 정보가 추출되지 않은 데이터에서는 처리의 한계가 있다. 이를 보완하기 위해, 이후 머신러닝과의 성능검증 및 상호보완을 위한 추가 연구가 이루어져야 할 것이다.
또한밝기값부여과정에서필연적으로발생하는더블 매핑 현상의 개선을 위한 더 많은 영상의 활용과 적절한 영상의 선정 연구가 추가적으로 이루어진다면 고정밀의 영상지도를 생성하기 위해 필요한 정밀 정사영상의 생성에서도 해당 기법이 기여할 수 있을 것으로 기대한다.

참고문헌 (8)

Albanwan, H. and R. Qin, 2022. Fine-tuning deep learning models for stereo matching using results from semi-global matching, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2: 39-46. https://doi.org/10.5194/isprs-annals-V-2-2022-39-2022

상세보기
Cournet, M., E. Sarrazin, L. Dumas, J. Michel, J. Guinet, D. Youssefi, V. Defonte, and Q. Fardet, 2020. Ground truth generation and disparity estimation for optical satellite imagery, The International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 43(B2): 127-134. https://doi.org/10.5194/isprs-archives-XLIIIB2-2020-127-2020
Gehrke, S., K. Morin, M. Downey, N. Boehrer, and T. Fuchs, 2010. Semi-global matching: An alternative to LIDAR for DSM generation, Proc. of the 2010 Canadian Geomatics Conference and Symposium of Commission I, Calgary, Canada, Jun. 15-18, vol. 2, pp. 1-6.
Hirschmuller, H. and D. Scharstein, 2008. Evaluation of stereo matching costs on images with radiometric differences, IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(9): 1582-1599. https://doi.org/10.1109/TPAMI.2008.221

상세보기
Kim, S., S. Rhee, and T. Kim, 2018. Digital surface model interpolation based on 3D mesh models, Remote Sensing, 11(1): 24. https://doi.org/10.3390/rs11010024

상세보기
Kim, J.K., J.S. Kim, K.M. Jeon, and H.J. Lee, 2019. Development of simulator for shading area detecting in UAV photogrammetry, Journal of Digital Contents Society, 20(10): 1917-1923 (in Korean with English abstract). https://doi.org/10.9728/dcs.2019.20.10.1917

상세보기
Rhee, S. and T. Kim, 2016. Dense 3D point cloud generation from UAV images from image matching and global optimization, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 41: 1005-1009. http://doi.org/10.5194/isprsarchives-XLI-B1-1005-2016
Qin, R., 2019. A critical analysis of satellite stereo pairs for digital surface model generation and a matching quality prediction model, ISPRS Journal of Photogrammetry and Remote Sensing, 154: 139-150. https://doi.org/10.1016/j.isprsjprs.2019.06.005

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구
Post-processing Method of Point Cloud Extracted Based on Image Matching for Unmanned Aerial Vehicle Image 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (15)

표/그림 (15)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구 Post-processing Method of Point Cloud Extracted Based on Image Matching for Unmanned Aerial Vehicle Image 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (15) 모든 표/그림 보기

표/그림 (15) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

김태정 (63)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구
Post-processing Method of Point Cloud Extracted Based on Image Matching for Unmanned Aerial Vehicle Image 원문보기

초록
AI-Helper

표/그림 (15)

표/그림 (15)

AI 본문요약
AI-Helper

활용도 Top5 논문