[논문]무인기 영상 병합을 위한 밝기값 보정 방법 개발

반승환; 김태정

doi:10.7780/kjrs.2021.37.5.1.19

무인기 영상 병합을 위한 밝기값 보정 방법 개발
Development of Brightness Correction Method for Mosaicking UAV Images 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.37 no.5 pt.1, 2021년, pp.1071 - 1081

반승환 (인하대학교 스마트시티공학전공) , 김태정 (인하대학교 공간정보공학)

초록
AI-Helper

무인기 원격탐사는 기존의 항공 및 위성 원격탐사보다 사용자가 원하는 시간에 높은 공간해상도의 영상을 취득하여 처리할 수 있다. 무인기 영상은 낮은 고도로 촬영되어 영상 한 장이 포괄하는 영역이 상대적으로 좁기 때문에 넓은 영역을 모니터링 하기 위해서는 다수의 영상을 병합하여 한 장의 영상으로 만드는 과정이 필요하다. 그러나 다수의 무인기 영상은 각각 다른 노출 조건에 의해 촬영되기 때문에 인접 영상 간에 밝기 값 차이가 존재하여 영상 병합시에 영상 접합선 부분에서 밝기 값이 대비되는 부자연스러운 병합영상을 생성하게 된다. 따라서 자연스러운 병합 영상 생성을 위해서는 영상간 밝기 값 차이를 보정해주고 접합선에 의한 효과를 제거하는 처리 과정이 필수적이다. 본 논문에서는 상대방사보정을 통해 인접 영상간 밝기 값이 대비되는 현상을 해결하고, 영상 블렌딩 기법을 적용하여 밝기 접합선을 제거할 수 있는 방안을 제시하였다. 제안된 방안의 성능 분석을 위해 두개의 데이터셋에 대한 병합영상을 생성하여 원본 병합영상과 비교하였다. 비교결과 중첩영역에서의 밝기 값 차이가 5, 제곱근에러가 7 부근의 차이를 보여 기존 방식 대비 우수한 제안 방법의 성능을 확인하였다.

Abstract ▼ AI-Helper

Remote Sensing using unmanned aerial vehicles(UAV) can acquire images with higher time resolution and spatial resolution than aerial and satellite remote sensing. However, UAV images are photographed at low altitude and the area covered by one image isrelatively narrow. Therefore multiple images must be processed to monitor large area. Since UAV images are photographed under different exposure conditions, there is difference in brightness values between adjacent images. When images are mosaicked, unnatural seamlines are generated because of the brightness difference. Therefore, in order to generate seamless mosaic image, a radiometric processing for correcting difference in brightness value between images is essential. This paper proposes a relative radiometric calibration and image blending technique. In order to analyze performance of the proposed method, mosaic images of UAV images in agricultural and mountainous areas were generated. As a result, mosaic images with mean brightness difference of 5 and root mean square difference of 7 were avchieved.

주제어

표/그림 (16)

그림 Fig. 1. Flight trajectory and acquired image's location of dataset 1 (left) and dataset 2 (right).
그림 Fig. 2. Part of dataset 1(left) and dataset 2(right).
표 Table 1. Characteristics of UAVs and cameras used
그림 Fig. 3. Process for generating mosaic image using proposed method.
표 Table 2. characteristics of datasets used
그림 Fig. 4. Mosaic result without relative radiometric calibration.
그림 Fig. 5. Mosaic result with relative radiometric calibration.
그림 Fig. 6. Blending Process of two Images.
그림 Fig. 7. Blending method with weighted mask image.
그림 Fig. 8. Mosaic image of dataset 1 (left) and dataset 2 (right) without proposed method.
그림 Fig. 9. Mosaic image of dataset 1 (left) and dataset 2 (right) with relative radiometric calibration.
그림 Fig. 10. Mosaic image of dataset 1 (left) and dataset 2 (right) with proposed method.
표 Table 3. Mean and RMSE of pixel value difference in overlap area
그림 Fig. 11. Selected points for quantitative analysis.
표 Table 4. Mean and standard deviation of pixel values at selected points
그림 Fig. 12. Part of the final mosaic image of dataset 1 (top) and dataset 2 (bottom).

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 무인기 영상의 밝기 값 차이를 보정하고 접합선을 제거하여 자연스러운 병합영상을 생성할 수 있는 방법을 제안하였다. 제안방법의 검증은 병합영상 생성결과를 비교하는 정성적평가와 밝기 값 분석을 통한 정량적평가로 진행되었다.

제안 방법

5와 같이 여전히 인접한 영상과의 밝기 값 차이가 나는 부분이 존재하게 되는데 이는 접합선 부근에서 밝기 값 이 완벽히 일치하지 않기 때문이다. 따라서 제안방법에서 영상 블렌딩은 상대방사보정이 완료된 후 적용되어 병합영상에서 이음새에 의한 효과를 제거해준다. 영상 블렌딩은 일반적으로 두 영상을 합성할 때 쓰이는 개념으로 가중치를 적용하여 영상의 밝기 값을 혼합한 중첩 영상을 생성할 때 사용된다.
본 연구에서 제안하는 자연스러운 병합영상 생성 방법은 상대방사보정과 블렌딩 크게 두 가지의 단계로 이루어진다. 상대방사보정 단계에서는 산출된 밝기 값 보정량을 영상에 적용하여 인접 영상 간 밝기 값의 차이를 최소화해주는 방법이 적용된다.
해당 SW의 모자이크 처리 방식은 영상 특징점을 기반으로 추출된 대응점으로 Triangulated Irregular Network (TIN)을 구성하여 병합하는 방식을 사용한다. 본 연구에서는 밝기 값 보정 및 접합선 처리를 위한 제안방법을 해당 SW의 알고리즘에 적용하여 병합영상을 생성하였다. Fig.
제안방법에서는 접합선으로부터 멀어지면서 가중치를 점진적으로 부여하는 방법의 블렌딩 기법을 적용하여 접합선이 없는 자연스러운 병합영상 생성한다. Fig.
본 연구에서는 무인기 영상의 밝기 값 차이를 보정하고 접합선을 제거하여 자연스러운 병합영상을 생성할 수 있는 방법을 제안하였다. 제안방법의 검증은 병합영상 생성결과를 비교하는 정성적평가와 밝기 값 분석을 통한 정량적평가로 진행되었다. 이를 통해 영상 밝기 값에 영향을 줄 수 있는 환경에 대한 정보 없이 오로지 영상의 밝기 값만으로 밝기 값을 보정하여 자연스러운 병합 영상을 생성할 수 있는 높은 실용성을 확인할 수 있었다.

대상 데이터

41 µm이고 영상 하나가 포함하는 영역은 약 270-180 m이다. 두 번째 데이터 셋의 경우 사용된 카메라는 SONY사의 DSC-RX1RM2로 초점거리는 35 mm이고 CCD 소자의 크기는 하나당 약 4.51 m이고 영상 하나가 포함하는 영역은 약 100-70 m이다.
촬영고도는 약 180 m로 설정하여 총 175장의 영상이 촬영되었고 촬영에 사용된 카메라는 무인기에 기본으로 장착된 DJI사의 FC6310R 카메라를 사용하였다. 두 번째 연구지역은 대한민국 경상남도 합천군 초계면에 위치한 논밭은 촬영한 영상으로 고정익 무인 기인 케바드론사의 KD-2 Mapper를 사용하였다. 촬영 고도는 약 100 m로 설정하여 총 306장의 영상이 SONY 사의 DSC-RX1RM2카메라를 통해 촬영되었다.
연구지역은 물체의 이동이 비교적 적은 농경지를 선정하여 촬영하였다. 첫 번째 연구지역은 대한민국 전라북도 김제시 부량면 지역에 위치한 논밭을 촬영한 영상으로 회전익 무인기인 DJI사의 Phantom 4 RTK를 사용하였다.
첫 번째 데이터셋의 경우 사용된 카메라는 DJI사의 FC6310R로 초점거리는 8.8 mm이고 CCD 소자의 크기는 하나당 약 2.41 µm이고 영상 하나가 포함하는 영역은 약 270-180 m이다
연구지역은 물체의 이동이 비교적 적은 농경지를 선정하여 촬영하였다. 첫 번째 연구지역은 대한민국 전라북도 김제시 부량면 지역에 위치한 논밭을 촬영한 영상으로 회전익 무인기인 DJI사의 Phantom 4 RTK를 사용하였다. 촬영고도는 약 180 m로 설정하여 총 175장의 영상이 촬영되었고 촬영에 사용된 카메라는 무인기에 기본으로 장착된 DJI사의 FC6310R 카메라를 사용하였다.
두 번째 연구지역은 대한민국 경상남도 합천군 초계면에 위치한 논밭은 촬영한 영상으로 고정익 무인 기인 케바드론사의 KD-2 Mapper를 사용하였다. 촬영 고도는 약 100 m로 설정하여 총 306장의 영상이 SONY 사의 DSC-RX1RM2카메라를 통해 촬영되었다. Fig.
첫 번째 연구지역은 대한민국 전라북도 김제시 부량면 지역에 위치한 논밭을 촬영한 영상으로 회전익 무인기인 DJI사의 Phantom 4 RTK를 사용하였다. 촬영고도는 약 180 m로 설정하여 총 175장의 영상이 촬영되었고 촬영에 사용된 카메라는 무인기에 기본으로 장착된 DJI사의 FC6310R 카메라를 사용하였다. 두 번째 연구지역은 대한민국 경상남도 합천군 초계면에 위치한 논밭은 촬영한 영상으로 고정익 무인 기인 케바드론사의 KD-2 Mapper를 사용하였다.

데이터처리

본 장에서는 제안방법에서의 상대방사보정과 블렌딩 기법을 적용하여 생성된 병합영상 결과를 비교 분석하기 위해 제안방법 적용 전후의 병합영상을 생성하였다. 이때, 병합영상은 자체 개발중인 SW(이하 IAM-UAV) 를 사용하여 생성되었다.
생성된 병합영상의 정량적 분석을 위해 제안방법 적용 전후의 밝기 값을 비교하여 계산하였다. 제안방법 중 인접영상간 밝기 값 차이를 최소화해주는 상대방사보 정방법의 성능 분석을 위해 중첩 영역에서의 영상 간 밝 기 값 차이를 계산하였고, 접합선 제거를 위해 적용된 블렌딩 기법의 성능 분석을 위해서는 접합선 주변에서의 픽셀 평균 밝기 값과 편차를 계산하였다.
생성된 병합영상의 정량적 분석을 위해 제안방법 적용 전후의 밝기 값을 비교하여 계산하였다. 제안방법 중 인접영상간 밝기 값 차이를 최소화해주는 상대방사보 정방법의 성능 분석을 위해 중첩 영역에서의 영상 간 밝 기 값 차이를 계산하였고, 접합선 제거를 위해 적용된 블렌딩 기법의 성능 분석을 위해서는 접합선 주변에서의 픽셀 평균 밝기 값과 편차를 계산하였다. Table 3은 상대방사보정 적용 전후 영상 간 중첩영역에 해당하는 픽셀의 밝기 값 차이의 평균과 Root Mean Square Error (RMSE)를 보여준다.

이론/모형

최종적으로 Fig. 10과 같이 제안방법의 블렌딩 기법을 적용하여 접합선으로 인한 효과를 제거한 자연스러운 병합 영상을 생성하였다.
두 번째 단계인 블렌딩 기법은 접합선 부근에서 수행되는데 접합선으로부터 점진적으로 부여된 가중치를 영상간 블렌딩에 적용하여 영상 병합 시에 생기는 접합선을 제거해주는 방법이다. 기하학적 모자이크 영역 설정 및 처리는 자체 개발중인 SW를 사용하였다. 해당 SW의 모자이크 처리 방식은 영상 특징점을 기반으로 추출된 대응점으로 Triangulated Irregular Network (TIN)을 구성하여 병합하는 방식을 사용한다.
따라서 자연스러운 무인기 병합 영상 생성을 위해서는 인접한 영상 간 밝기 값 차이를 보정해주는 상대 방사보정이 선행되어야 한다. 상대방사보정 방법은 대응점 이용 방법, 영상 히스토그램 매칭, gain보상 방법 등이 있는데 본 연구에서는 gain보상 방법을 사용하였다.

성능/효과

본 제안방법의 상대방사보정 방법과 블렌딩 기법은 픽셀 단위로 진행되어 영상의 개수 가 많을수록 처리시간이 오래 소요된다. IAM-UAV는 최적 영상을 선정하여 병합에 사용되는 영상의 개수를 최소화하여 제안방법을 적용한 병합영상 생성시간을 단축시켜줬다. 하지만 사용되는 영상의 개수가 감소함으로 인하여 중첩영역이 좁은 부분이 존재하였고, 이로 인해 블렌딩 효과가 미비한 영역이 존재하였다.
IAM-UAV의 병합영상은 대응점을 기반으로 TIN을 구성하여 생성되어 보다 정확한 중첩영역 계산이 가능하기 때문에 상대방사보정과 블렌딩 기법의 적용효과를 극대화할 수 있었다. 본 제안방법의 상대방사보정 방법과 블렌딩 기법은 픽셀 단위로 진행되어 영상의 개수 가 많을수록 처리시간이 오래 소요된다.
12). 본 연구에서 적용한 블렌딩 기법은 영상 간 중첩영역이 넓을수록 좋은 효과를 보여준다. 중첩영역이 좁다면 블렌딩 영역 내의 가중치의 변화율이 높아 상대적으로 블렌딩 효과가 미비하다.
IAM-UAV의 병합영상은 대응점을 기반으로 TIN을 구성하여 생성되어 보다 정확한 중첩영역 계산이 가능하기 때문에 상대방사보정과 블렌딩 기법의 적용효과를 극대화할 수 있었다. 본 제안방법의 상대방사보정 방법과 블렌딩 기법은 픽셀 단위로 진행되어 영상의 개수 가 많을수록 처리시간이 오래 소요된다. IAM-UAV는 최적 영상을 선정하여 병합에 사용되는 영상의 개수를 최소화하여 제안방법을 적용한 병합영상 생성시간을 단축시켜줬다.
제안방법의 검증은 병합영상 생성결과를 비교하는 정성적평가와 밝기 값 분석을 통한 정량적평가로 진행되었다. 이를 통해 영상 밝기 값에 영향을 줄 수 있는 환경에 대한 정보 없이 오로지 영상의 밝기 값만으로 밝기 값을 보정하여 자연스러운 병합 영상을 생성할 수 있는 높은 실용성을 확인할 수 있었다. 본 제안방법은 중첩영역의 밝기 값을 분석하기 때문에 물체의 이동이 잦거나 건물이 높아 기복 변위가 심하게 발생하는 도심지의 경우에서는 적용하기 힘들다.
또한 밝기 값의 평균이 크게 변하지 않는다면 블렌딩에 사용된 영상들의 원본 밝기 값을 그대로 유지했다고 판단할 수 있다. 표를 통해 두 데이터셋 모두 평균 밝기 값은 유지하고, 표준편차는 줄임으로써 블렌딩이 효과적으로 적용되었다고 판단된다.
본 제안방법은 중첩영역의 밝기 값을 분석하기 때문에 물체의 이동이 잦거나 건물이 높아 기복 변위가 심하게 발생하는 도심지의 경우에서는 적용하기 힘들다. 하지만 물체의 이동이 드물고 건물의 수가 비교적 적은 농경지나 산지에서는 자연스러운 병합 영상을 생성함을 확인하여 제안 방법의 높은 실용성을 확인할 수 있었다.
IAM-UAV는 최적 영상을 선정하여 병합에 사용되는 영상의 개수를 최소화하여 제안방법을 적용한 병합영상 생성시간을 단축시켜줬다. 하지만 사용되는 영상의 개수가 감소함으로 인하여 중첩영역이 좁은 부분이 존재하였고, 이로 인해 블렌딩 효과가 미비한 영역이 존재하였다. 향후에 이러한 부분은 병합 영상 생성시 중첩영역 비율을 고려한 뒤 영상을 추가할 수 있는 알고리즘을 구성하여 추가 분석할 예정이다.

후속연구

이를 통해 영상 밝기 값에 영향을 줄 수 있는 환경에 대한 정보 없이 오로지 영상의 밝기 값만으로 밝기 값을 보정하여 자연스러운 병합 영상을 생성할 수 있는 높은 실용성을 확인할 수 있었다. 본 제안방법은 중첩영역의 밝기 값을 분석하기 때문에 물체의 이동이 잦거나 건물이 높아 기복 변위가 심하게 발생하는 도심지의 경우에서는 적용하기 힘들다. 하지만 물체의 이동이 드물고 건물의 수가 비교적 적은 농경지나 산지에서는 자연스러운 병합 영상을 생성함을 확인하여 제안 방법의 높은 실용성을 확인할 수 있었다.
더불어 최근에는 무인기촬영시 반사율 타겟이나 조도센서를 통해 영상을 실제 반사율로 변환하여 반사율 영상을 생성하는 연구가 수행되고 있다. 이에 본 제안방법을 적용한다면 다수의 영상을 병합한 자연스러운 반사율 영상을 산출할 수 있으며, 작황 모니터링 및 작물 구분지도 제작 등 농업 분야에 다방면으로 활용할 수 있을 것이라고 판단된다.
하지만 사용되는 영상의 개수가 감소함으로 인하여 중첩영역이 좁은 부분이 존재하였고, 이로 인해 블렌딩 효과가 미비한 영역이 존재하였다. 향후에 이러한 부분은 병합 영상 생성시 중첩영역 비율을 고려한 뒤 영상을 추가할 수 있는 알고리즘을 구성하여 추가 분석할 예정이다. 더불어 최근에는 무인기촬영시 반사율 타겟이나 조도센서를 통해 영상을 실제 반사율로 변환하여 반사율 영상을 생성하는 연구가 수행되고 있다.

참고문헌 (11)

Brown, M. and D.G. Lowe, 2007. Automatic panoramic image stitching using invariant features, International Journal of Computer Cision, 74(1): 59-73.

상세보기
Chen, K. and M. Wang, 2014. Image stitching algorithm research based on OpenCV, Proc. of the 33rd Chinese Control Conference, Nanjing, CN, Jul. 28-30, vol. 11, pp. 7292-7297.
Cho, M., J. Kim, and K. Kim, 2018. Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method, Journal of Broadcast Engineering, 23(2): 235-245 (in Korean with English abstract).

원문보기 상세보기
Fang, F., T. Wang, Y. Fang, and G. Zhang, 2019. Fast color blending for seamless image stitching, IEEE Geoscience and Remote Sensing Letters, 16(7): 1115-1119.

상세보기
Kim, H.G., J.I. Kim, S.J. Yoon, and T. Kim, 2018. Development of a method for calculating the allowable storage capacity of rivers by using drone images, Korean Journal of Remote Sensing, 34(2-1): 203-211 (in Korean with English abstract).

원문보기 상세보기
Li, M., D. Li, B. Guo, L. Li, T. Wu, and W. Zhang, 2018. Automatic seam-line detection in UAV remote sensing image mosaicking by use of graph cuts, ISPRS International Journal of Geo-Information, 7(9): 361.

상세보기
Lim, P.C., S. Rhee, J. Seo, J.I. Kim, J. Chi, S.B. Lee, and T. Kim, 2021. An Optimal Image-Selection Algorithm for Large-Scale Stereoscopic Mapping of UAV Images, Remote Sensing, 13(11): 2118.

상세보기
Nam, D.Y. and J.K. Han, 2019. Color and Illumination Compensation Algorithm for 360 VR Panorama Image, Journal of Broadcast Engineering, 24(1): 3-24 (in Korean with English abstract).

원문보기 상세보기
Rhee, S., T. Kim, J. Kim, M.C. Kim, and H.J. Chang, 2015. DSM generation and accuracy analysis from UAV images on river-side facilities, Korean Journal of Remote Sensing, 31(2): 183-191 (in Korean with English abstract).

원문보기 상세보기
Shin, J.I., Y.M. Cho, P.C. Lim, H.M. Lee, H.Y. Ahn, C.W. Park, and T. Kim, 2020. Relative Radiometric Calibration Using Tie Points and Optimal Path Selection for UAV Images, Remote Sensing, 12(11): 1726.

상세보기
Tian, Q.C. and L.D. Cohen, 2017. Histogram-based color transfer for image stitching, Journal of Imaging, 3(3): 38.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증