[논문]사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환

홍송표; 최한승; 김의명

doi:10.7848/ksgpc.2019.37.4.267

사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환
Conversion of Camera Lens Distortions between Photogrammetry and Computer Vision 원문보기

한국측량학회지 = Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, v.37 no.4, 2019년, pp.267 - 277

홍송표 (Dept. of GIS Engineering, Namseoul University) , 최한승 (Mapping & Localization, Naver Labs Corp.) , 김의명 (Department of Spatial Information Engineering, Namseoul University)

초록
AI-Helper

사진측량과 컴퓨터비전 분야는 카메라에서 촬영된 영상에서 3차원 좌표를 결정하는 것은 동일하지만 두 분야는 카메라 렌즈왜곡 모델링 방법과 카메라 좌표계의 차이점으로 인하여 서로 간에 직접적인 호환이 어렵다. 일반적으로 드론 영상의 자료처리는 컴퓨터비전 기반의 소프트웨어를 이용하여 번들블록조정을 수행한 후 지도제작을 위해서 사진측량 기반의 소프트웨어로 도화를 수행하게 된다. 이때 카메라 렌즈왜곡의 모델을 사진측량에서 사용하는 수식으로 변환해야 하는 문제에 직면하게 된다. 이에 본 연구에서는 사진측량과 컴퓨터비전에서 사용되는 좌표계와 렌즈왜곡 모델식의 차이점에 대하여 기술하고 이를 변환하는 방법론을 제안하였다. 카메라 렌즈왜곡 모델의 변환식의 검증을 위해서 먼저 렌즈왜곡이 없는 가상의 좌표에 컴퓨터비전 기반의 렌즈왜곡 모델을 이용하여 렌즈왜곡을 부여하였다. 그리고 나서 렌즈왜곡이 부여된 사진좌표를 이용하여 사진측량 기반의 렌즈왜곡 모델을 이용하여 왜곡계수를 결정한 후 사진좌표에서 렌즈왜곡을 제거하여 원래의 왜곡이 없는 가상좌표와 비교하였다. 그 결과 평균제곱근거리가 0.5픽셀 이내로 양호한 것으로 나타났다. 또한 사진측량용 렌즈왜곡 계수를 적용하여 정밀도화 가능여부를 판단하기 위해서 에피폴라 영상을 생성하였다. 생성된 에피폴라 영상에서 y-시차의 평균제곱근오차가 계산한 결과 0.3픽셀 이내로 양호하게 나타났음을 알 수 있었다.

Abstract ▼ AI-Helper

Photogrammetry and computer vision are identical in determining the three-dimensional coordinates of images taken with a camera, but the two fields are not directly compatible with each other due to differences in camera lens distortion modeling methods and camera coordinate systems. In general, data processing of drone images is performed by bundle block adjustments using computer vision-based software, and then the plotting of the image is performed by photogrammetry-based software for mapping. In this case, we are faced with the problem of converting the model of camera lens distortions into the formula used in photogrammetry. Therefore, this study described the differences between the coordinate systems and lens distortion models used in photogrammetry and computer vision, and proposed a methodology for converting them. In order to verify the conversion formula of the camera lens distortion models, first, lens distortions were added to the virtual coordinates without lens distortions by using the computer vision-based lens distortion models. Then, the distortion coefficients were determined using photogrammetry-based lens distortion models, and the lens distortions were removed from the photo coordinates and compared with the virtual coordinates without the original distortions. The results showed that the root mean square distance was good within 0.5 pixels. In addition, epipolar images were generated to determine the accuracy by applying lens distortion coefficients for photogrammetry. The calculated root mean square error of y-parallax was found to be within 0.3 pixels.

주제어

표/그림 (21)

그림 Fig. 1. Coordinate system in photogrammetry
그림 Fig. 2. Coordinate system in computer vision
그림 Fig. 3. Flow chart for conversion to lens distortion parameters for photogrammetry
그림 Fig. 4. Flow chart for conversion to lens distortion parameters for computer vision
그림 Fig. 5. Effect of lens distortion factors on Zenmuse X3 camera
표 Table 1. IOP for computer vision determined using Pix4D Mapper
표 Table 2. Analysis of pixel coordinates with distortion
그림 Fig. 6. Procedures for algorithm veriﬁcation
그림 Fig. 7. Location of checkpoints and estimated points
그림 Fig. 8. Calibration target
표 Table 3. Lens distortion parameters for photogrammetry
표 Table 4. Error analysis of transformed coordinate points
그림 Fig. 9. Effect of lens distortion
그림 Fig. 10. Location of checkpoints and estimated points
표 Table 5. Camera calibration result in computer vision using Matlab
표 Table 6. Analysis of pixel coordinates with distortion
표 Table 7. Lens distortion parameters for photogrammetry
그림 Fig. 11. Original images
그림 Fig. 12 . Epipolar images
표 Table 8. Error analysis of transformed coordinate points
표 Table 9. y-parallax in epipolar images

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

반면 컴퓨터비전에서는 연산처리의 자동화 및 속도에 중점을 두었기 때문에 왜곡이 있는 원 영상에서 렌즈왜곡이 제거된 영상을 제작한 후, 이를 특징점 매칭을 수행하여 가상의 3차원 위치를 신속하게 결정하는 것이 목적이었다. 이를 위해 Eq.
본 연구는 사진측량과 컴퓨터비전간의 내부표정요소에 해당하는 렌즈왜곡 계수를 변환하고 이를 검증하는 연구를 수행하였으며 다음과 같은 결론을 도출하였다.
이에 본 연구에서는 컴퓨터비전 기술을 적용하여 결정된 카메라의 렌즈왜곡 모델을 사진측량에서 사용하고 있는 렌즈왜곡 모델로 변환할 수 있는 방법을 제안하는 것으로 이를 통해 도화작업을 원활하게 수행할 수 있도록 지원하는 것이 목적이다
이처럼 사진측량과 컴퓨터비전의 렌즈왜곡모델 기법이 서로 다른 이유는 사진측량은 컴퓨터를 이용한 영상처리가 발전하기 이전부터 연구 되었던 학문으로 관측자가 렌즈왜곡이 있는 원 영상으로 부터 수동으로 공액점(conjugate point)을 관측하여 렌즈왜곡을 제거한 후, 대상물의 3차원 위치를 결정하는 것이 목적이었다. 따라서 Eq.

가설 설정

1) 사진측량 소프트웨어를 이용하여 결정한 카메라 렌즈왜곡 계수는 왜곡이 있는 사진좌표를 렌즈왜곡을 제거한 사진좌표로 변환할 수 있는 계수이므로 먼저 렌즈왜곡이 있다고 가정한 가상의 격자점을 영상의 크기를 고려하여 생성한다.
1) 컴퓨터비전 소프트웨어를 이용하여 결정한 카메라 렌즈 왜곡 계수는 왜곡이 없는 좌표에서 왜곡을 부여하는 좌표로 계산한 것이기 때문에, 영상의 크기를 고려하여 렌즈왜곡이 없다고 가정한 가상의 격자점을 생성한다.

제안 방법

3절과 달리 영상 크기 내에서 왜곡이 있다고 가정한 가상의 격자점(사진좌표)들을 생성하고 Eq. (3)의 사진측량 렌즈왜곡모델 식을 이용하여 렌즈왜곡을 제거하고 이를 정규좌표로 변환한다.
이를 위해 Eq. (4)와 같은 선형식을 이용하여 렌즈왜곡이 없는 좌표에 렌즈왜곡을 부여하고 렌즈왜곡이 있는 원 영상에서 주변의 밝기 값을 가져와서 보간하는 방법을 사용한다.
2) 영상에 생성한 가상의 격자점은 렌즈왜곡이 없는 좌표이므로 컴퓨터비전 수식을 이용하여 결정한 렌즈왜곡 계수를 이용하여 왜곡을 부여하여 사진좌표로 변환한다.
2) 영상에 생성한 렌즈왜곡이 있는 가상의 격자점에서 사진측량 수식을 이용하여 결정한 렌즈왜곡 계수를 이용하여 렌즈왜곡이 제거된 영상좌표로 변환한 후 초점거리를 이용하여 정규좌표로 변환한다.
3) 렌즈왜곡이 없는 사진좌표(가상의 격자점)와 렌즈왜곡이 부여된 사진좌표를 입력값으로 하여 사진측량에서 사용하는 렌즈왜곡 계수를 선형식을 이용하여 구한다. 다시 말하면 렌즈왜곡이 부여된 사진좌표에서 렌즈왜곡이 없는 사진좌표로의 렌즈왜곡 계수를 결정한다.
3) 렌즈왜곡이 있는 정규좌표와 렌즈왜곡을 제거한 정규좌표를 입력값으로 하여 컴퓨터비전에서 사용하는 렌즈왜곡 계수를 선형식을 이용하여 구한다. 다시 말하면 렌즈 왜곡이 없는 정규좌표에서 렌즈왜곡이 부여된 정규좌표로의 렌즈왜곡 계수를 결정한다
Table 3에 나타낸 것과 같이 컴퓨터비전의 내부표정요소를 사진측량에서 사용하는 내부표정요소로 변환한 결과와 Pix4D Mapper를 이용하여 결정한 외부표정요소를 이용하여 사진측량 기반의 정밀도화가 가능한지 검증하기 위해 Fig. 11의 좌우측 영상을 사진측량 기반의 수식을 이용하여 에피폴라 영상을 제작하였으며 그 결과는 Fig. 12와 같다.
둘째, 렌즈왜곡 변환기법을 위하여 컴퓨터비전 기반의 Pix4D Mapper 소프트웨어와 Matlab에서 제공하는 카메라 캘리브레이션 툴박스를 이용하여 결정된 렌즈왜곡 계수를 사진측량 분야에서 사용하는 렌즈왜곡 계수로 변환하고 이를 검증하였다. 검증결과 변환 오차의 RMSD가 0.
(13)과 같이 계산하였다. 일관적인 해석을 위하여 사진좌표의 단위는 픽셀단위를 사용하였다.
첫째, 사진측량과 컴퓨터비전간의 내부표정요소 호환성을 위하여 가상의 격자점을 생성하여 입력데이터로 구축하고, 선형방정식을 통한 렌즈왜곡 계수를 변환하는 방법을 제안하였다.

대상 데이터

추가적인 실험을 위하여 Matlab 소프트웨어에서 지원하는 컴퓨터비전 기반의 카메라 캘리브레이션 툴박스를 이용하였다. 이를 위해 칼텍(caltech: california institute of technology)의 컴퓨터비전 연구실에서 제공하는 18장의 체스보드 영상을 사용하였고, 체스보드는 Fig. 8과 같이 흑백 간격은 가로 및 세로가 3cm로 구성되어 있다(Bouguet, 2015; Hong et al., 2019).
촬영된 702장의 드론영상과 가상기준점(VRS: Virtual Reference Station)측량 방식으로 취득한 9점의 지상기준점을 Pix4D Mapper의 BBA를 이용하여 카메라의 내･외부표정요소를 결정하였고 내부표정요소는 Table 1과 같다. 이때 Pix4D Mapper는 컴퓨터비전용 소프트웨어 이므로 BBA로 결정된 내부표정요소는 Eq.
카메라 렌즈왜곡 계수에 대한 실험을 위하여 충남 천안시 성환읍 일대를 DJI사의 회전익 드론인 Matrice 100에 장착된 Zenmuse X3 카메라를 이용하여 702장의 영상을 취득하였고 촬영된 면적은 약 707m×1050m이다.

데이터처리

각 좌표의 렌즈왜곡량을 정량적으로 파악하기 위하여 Eq. (11), (12)를 이용하여 Table 2와 같이 평균제곱근오차(RMSE: Root Mean Square Error)와 평균제곱근거리(RMSD: Root Mean Square Distance)를 계산하였으며, x 와 y방향의 왜곡량이 1~2 픽셀이내인 것을 알 수 있다. 이를 통해 드론에 장착된 Zenmuse X3 카메라의 렌즈왜곡은 비교적 크지 않은 것을 알 수 있었다.
BBA의 정확도 검증은 가상기준점 측량 방식으로 취득한 8개의 검사점과 결정된 내･외부표정요소를 이용하여 평균 재투영오차(mean re-projection error)를 계산하였으며 약 0.405 픽셀로 양호하게 나타났다.

이론/모형

추가적인 실험을 위하여 Matlab 소프트웨어에서 지원하는 컴퓨터비전 기반의 카메라 캘리브레이션 툴박스를 이용하였다. 이를 위해 칼텍(caltech: california institute of technology)의 컴퓨터비전 연구실에서 제공하는 18장의 체스보드 영상을 사용하였고, 체스보드는 Fig.

성능/효과

둘째, 렌즈왜곡 변환기법을 위하여 컴퓨터비전 기반의 Pix4D Mapper 소프트웨어와 Matlab에서 제공하는 카메라 캘리브레이션 툴박스를 이용하여 결정된 렌즈왜곡 계수를 사진측량 분야에서 사용하는 렌즈왜곡 계수로 변환하고 이를 검증하였다. 검증결과 변환 오차의 RMSD가 0.5픽셀 이내로 양호하게 도출되었다.
셋째, 컴퓨터비전 기반의 Pix4D Mapper를 이용하여 변환된 렌즈왜곡 계수와 외부표정요소를 이용하여 정밀도화를 위한 사진측량 기반의 에피폴라 영상을 제작하고 검사점의 y-시차를 계산한 결과, 검사점의 RMSE가 0.3픽셀 이내로 양호하게 도출되었다.
, 2018). 이러한 이유로 제작된 에피폴라 영상에서 y-시차가 발생하지 않는다면, 컴퓨터비전 소프트웨어에서 결정된 렌즈왜곡 계수를 본 연구에서 제안한 방법을 통해서 사진측량용 렌즈왜곡 계수로 적합하게 변환된 것을 다시 한번 확인할 수 있다.
이를 위해 Fig. 12에서 영상의 가운데 부분 뿐만 아니라 방사방향 왜곡에 많은 영향을 받는 영상의 모서리 부분에서도 검사점을 추출하였으며 8개에 대해 좌우 에피폴라 영상에서 수작업으로 y-시차를 계산하였으며 RMSE는 0.286 픽셀로 매우 양호한 결과를 보였다
(11), (12)를 이용하여 Table 2와 같이 평균제곱근오차(RMSE: Root Mean Square Error)와 평균제곱근거리(RMSD: Root Mean Square Distance)를 계산하였으며, x 와 y방향의 왜곡량이 1~2 픽셀이내인 것을 알 수 있다. 이를 통해 드론에 장착된 Zenmuse X3 카메라의 렌즈왜곡은 비교적 크지 않은 것을 알 수 있었다.
처음 생성한 가상의 격자점인 검사점과 사진측량용 렌즈 왜곡 계수를 이용하여 왜곡의 제거하여 추정된 점에 대한 RMSD는 0.045픽셀로 매우 양호한 결과가 나왔다. 이러한 이유는 실내에서 카메라 캘리브레이션을 위한 최적의 조건으로 영상을 촬영하였고, 실외에서 촬영한 드론영상의 경우, 9개의 기준점을 사용하였지만 실내에서 촬영한 영상의 경우에는 156개의 기준점을 사용하였기 때문이다
카메라 캘리브레이션의 정확도는 Fig. (a)와 같이 156개의 검사점과 캘리브레이션을 통해 결정된 내·외부표정요소를 이용하여 평균 재투영 오차를 계산하였으며 그 결과 약 0.160 픽셀로 양호하게 나타났다.

후속연구

연구에서는 에피폴라 영상을 이용하여 정밀도화 가능 여부를 간접적으로 실험하였으나 항후 실제 도화장비를 이용한 정밀도화 가능여부와 경제성에 대한 실험이 필요할 것으로 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최근에 사용자 측면에서 공간정보를 쉽게 취득할 수 있게 된 이유는 무엇인가?	최근 컴퓨터비전 기술의 발달로 인하여 정사영상, 3차원 점군(point cloud), 3차원 모델 등의 결과물을 자동화된 방법으로 제작할 수 있기 때문에 사용자 측면에서는 공간정보를 보다 손쉽게 취득할 수 있게 되었다. 그 이유는 전통적인 항공사진측량 기술을 적용한 소프트웨어는 알고리즘의 매개변수 설정, 도화작업, 품질평가 등의 전문적인 지식을 요구하는 반면에 컴퓨터비전 기술을 이용한 소프트웨어는 사용자의 편의성을 고려하여 자동화와 신속성에 초점을 맞추고 있기 때문이다(Verhoeven et al., 2012; Rabiu and Waziri, 2014).
	사진측량과 컴퓨터비전 분야 간에 직접적인 호환이 어려운 이유는 무엇인가?	사진측량과 컴퓨터비전 분야는 카메라에서 촬영된 영상에서 3차원 좌표를 결정하는 것은 동일하지만 두 분야는 카메라 렌즈왜곡 모델링 방법과 카메라 좌표계의 차이점으로 인하여 서로 간에 직접적인 호환이 어렵다. 일반적으로 드론 영상의 자료처리는 컴퓨터비전 기반의 소프트웨어를 이용하여 번들블록조정을 수행한 후 지도제작을 위해서 사진측량 기반의 소프트웨어로 도화를 수행하게 된다.
	컴퓨터 비전을 이용하여 영상에서 공간정보를 제작을 도와주는 상용 소프트웨어에는 무엇이 있는가?	컴퓨터비전 기술을 이용하여 영상에서 공간정보를 제작할 수 있는 대표적인 상용 소프트웨어로는 Pix4D Mapper, Photoscan, Context Capture 등이 있고 오픈 소프트웨어 및 오픈 소스로는 COLMAP, Open Drone Map, Visual SFM, Theia, OpenMVG, OpenCV 등이 있으며 사진측량 분야에서도 광범위하게 활용되고 있다(Hong, 2016; Bianco et al., 2018).

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증