영상을 기반으로 하는 3차원 위치결정에서 카메라는 핵심적인 요소이며 이러한 카메라의 내부적인 특성을 제대로 결정하는 카메라 캘리브레이션 작업은 대상물의 3차원 좌표를 결정하기 위해서 필수적으로 선행되어야 할 과정이다. 본 연구에서는 캘리브레이션을 위한 체크보드의 크기와 형태에 영향을 받지 않고 반자동으로 카메라의 내부표정요소를 결정하는 방법론을 제안하였다. 제안한 방법론은 쿼터니언을 이용한 외부표정요소 추정, 캘리브레이션 타겟의 인식, 번들블록조정을 통한 내부표정요소 매개변수 결정으로 구성되어 있다. 체스보드 형태의 캘리브레이션 타겟을 이용하여 내부표정요소를 결정한 후 소규모 3차원 모형에 대한 3차원 위치를 결정하였으며 검사점을 이용한 정확도 평가를 통해서 수평위치와 수직위치 오차는 각각 약 ${\pm}0.006m$와 ${\pm}0.007m$를 얻을 수 있었다.
영상을 기반으로 하는 3차원 위치결정에서 카메라는 핵심적인 요소이며 이러한 카메라의 내부적인 특성을 제대로 결정하는 카메라 캘리브레이션 작업은 대상물의 3차원 좌표를 결정하기 위해서 필수적으로 선행되어야 할 과정이다. 본 연구에서는 캘리브레이션을 위한 체크보드의 크기와 형태에 영향을 받지 않고 반자동으로 카메라의 내부표정요소를 결정하는 방법론을 제안하였다. 제안한 방법론은 쿼터니언을 이용한 외부표정요소 추정, 캘리브레이션 타겟의 인식, 번들블록조정을 통한 내부표정요소 매개변수 결정으로 구성되어 있다. 체스보드 형태의 캘리브레이션 타겟을 이용하여 내부표정요소를 결정한 후 소규모 3차원 모형에 대한 3차원 위치를 결정하였으며 검사점을 이용한 정확도 평가를 통해서 수평위치와 수직위치 오차는 각각 약 ${\pm}0.006m$와 ${\pm}0.007m$를 얻을 수 있었다.
The camera is a key element in image-based three-dimensional positioning, and camera calibration, which properly determines the internal characteristics of such a camera, is a necessary process that must be preceded in order to determine the three-dimensional coordinates of the object. In this study...
The camera is a key element in image-based three-dimensional positioning, and camera calibration, which properly determines the internal characteristics of such a camera, is a necessary process that must be preceded in order to determine the three-dimensional coordinates of the object. In this study, a new methodology was proposed to determine interior orientation parameters of a camera semi-automatically without being influenced by size and shape of checkerboard for camera calibration. The proposed method consists of exterior orientation parameters estimation using quaternion, recognition of calibration target, and interior orientation parameter determination through bundle block adjustment. After determining the interior orientation parameters using the chessboard calibration target, the three-dimensional position of the small 3D model was determined. In addition, the horizontal and vertical position errors were about ${\pm}0.006m$ and ${\pm}0.007m$, respectively, through the accuracy evaluation using the checkpoints.
The camera is a key element in image-based three-dimensional positioning, and camera calibration, which properly determines the internal characteristics of such a camera, is a necessary process that must be preceded in order to determine the three-dimensional coordinates of the object. In this study, a new methodology was proposed to determine interior orientation parameters of a camera semi-automatically without being influenced by size and shape of checkerboard for camera calibration. The proposed method consists of exterior orientation parameters estimation using quaternion, recognition of calibration target, and interior orientation parameter determination through bundle block adjustment. After determining the interior orientation parameters using the chessboard calibration target, the three-dimensional position of the small 3D model was determined. In addition, the horizontal and vertical position errors were about ${\pm}0.006m$ and ${\pm}0.007m$, respectively, through the accuracy evaluation using the checkpoints.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 비 측량용 카메라의 캘리브레이션의 캘리브레이션을 수행하기 위해서 외부표정요소의 초기값이 필요하지 않는 쿼터니언을 이용한 방법론을 제시하였으며 실험을 통해서 다음과 같은 결론을 얻을 수 있었다.
본 연구에서는 캘리브레이션 타켓의 크기와 형태에 크게 영향을 받지 않고 카메라 캘리브레이션을 수행할 수 있는 기법을 제안하는 것을 목적으로 하였다. 카메라 캘리브레이션을 수행하는 절차는 캘리브레이션 타겟의 초기 관측점을 이용한 카메라 외부표정요소 추정, 캘리브레이션 타겟의 인식, 번들블록조정(Bundle Block Adjustment, BBA)을 통한 캘리브레이션 매개변수 결정 순으로 이루어진다.
가설 설정
본 연구에서 사용한 타겟의 형태는 일반적으로 카메라 캘리브레이션을 수행할 때 많이 사용되는 체스보드 형태의 타겟 또는 원형 또는 사각형의 부착형 타겟을 기준으로 하였고 타겟의 중심은 흑색과 백색으로 구성된 것으로 가정하였다.
제안 방법
카메라 렌즈가 다중의 볼록렌즈와 오목렌즈의 조합으로 구성되고 광축이 렌즈의 중심에서 편향되어 있을 때는 접선왜곡 계수를 추가적으로 보정해야 한다. 기준점 좌표와 영상좌표 그리고 공칭초점거리를 초기값으로 하여 카메라 캘리브레이션을 수행하였다. 카메라 캘리브레이션을 위한 모형식은 Eq.
따라서, 본 연구에서는 타겟의 중심위치를 정확하게 추출하기 위해서 1차적으로 템플릿 정합을 수행하여 타겟의 중심위치로 이동한 후 타겟의 중심위치를 좀 더 정제하기 위해서 타겟 주변의 경계선을 추출한 후 경계선의 교점을 이용하는 방법을 사용하였다.
2장에서는 본 연구에서 제안하는 방법론을 기술하였고 3장에서는 체스보드(chessboard) 형태의 타겟을 이용하여 카메라 캘리브레이션을 수행하였다. 또한 4장에서는 캘리브레이션 결과의 검증을 위해서 소규모 3차원 모형을 제작하고 정확도 평가를 실시하였다. 본 연구를 통한 결론은 5장에 기술하였다.
모형의 가로×세로 크기는 각각 0.895m와 0.922m이며 실생활에서 쉽게 구할 수 있는 물체를 이용하여 높이를 표현할 수 있도록 하였다.
소규모 3차원 모형에 대해 토탈스테이션을 이용하여 가상의 지면과 3차원의 높이를 확인할 수 있는 물체가 있는 곳에 Fig. 9와 같이 34군데를 선정하여 기준점 측량을 실시하였으며 이중 6점은 기준점(△ 표시)으로 사용하고 나머지 28점은 검사점(Ο 표시)으로 활용하여 3차원 정확도 평가에 사용하였다.
첫째, 제조사에서 알려주는 공칭초점거리와 쿼터니언을 이용한 카메라 위치 및 자세의 초기값을 이용하여 카메라 캘리브레이션을 수행할 수 있는 절차를 제시하였다. 촬영한 영상의 매수가 늘어날수록 카메라 캘리브레이션을 수행할 때 필요한 외부표정요소의 초기값을 설정하는 문제는 상당히 번거로운 일이나 쿼터니언을 이용하여 이러한 문제를 해결할 수 있었다.
를 고려하여 모델링하였다. 촬영한 16장의 영상에서 영상의 중심에서 떨어져서 모서리점에 가까운 4점의 영상좌표를 관측한 후 반자동으로 영상에 나타난 체스보드 타겟의 위치를 결정한 후 BBA를 통해서 카메라의 내부표정요소를 결정하였으며 그 결과는 Table 3과 같다. Table 3에서 알 수 있듯이 BBA를 수행한 후 사후 분산값은 0.
템플릿 정합을 수행하여 타겟의 중심위치가 1차적으로 결정되고 나면 타겟 중심위치를 정제하여 정확한 위치를 결정하기 위해서 캐니(Canny) 경계선 추출 연산자를 이용하여 타겟 주변의 경계선을 추출 하였다. 추출된 경계선에 Fig. 4 와 같이 내부 원형을 적용하여 경계선의 중심부분을 제거하여 중간 영상을 생성한 후 다시 좀 더 큰 외부 원형을 적용하여 경계선이 교차하는 중심부가 원형으로 비워 있는 영상을 생성하였다. 타겟의 중심위치를 정제하는 방법은 타겟 주변에서 추출한 경계선에서 타겟의 중심위치까지 떨어진 거리가 가장 최소가 되는 위치가 타겟의 중심위치라는 Eq.
(5)와 같다. 카메라 렌즈의 왜곡은 k1, k2 매개변수를 이용한 방사방향 렌즈왜곡만을 모델링 하였다. 이러한 이유는 저가형의 비 측량용 카메라의 경우 접선왜곡의 영향이 크지 않기 때문이다(Habib and Morgan, 2003).
카메라의 렌즈왜곡은 방사방향 왜곡계수 k1, k2를 고려하여 모델링하였다. 촬영한 16장의 영상에서 영상의 중심에서 떨어져서 모서리점에 가까운 4점의 영상좌표를 관측한 후 반자동으로 영상에 나타난 체스보드 타겟의 위치를 결정한 후 BBA를 통해서 카메라의 내부표정요소를 결정하였으며 그 결과는 Table 3과 같다.
타겟의 초기 위치는 쿼터니언을 이용하여 추정한 외부표정요소와 기준점 좌표를 영상에 모두 역투영하여 결정하였다. 카메라의 내부표정요소를 모두 고려할 수 없는 상태이므로 기준점을 영상에 역 투영 하였을 경우 카메라의 주점에서 방사방향으로 멀어질 경우 타겟의 초기 위치가 다소 이동되어 나타날 수 있다.
이러한 이유로 템플릿 정합시 탐색영역의 크기는 실제 타겟의 크기보다 다소 크게 탐색범위를 설정하였다. 탐색범위는 타겟의 실제 영상크기와 타겟 간의 거리 등을 고려하여 사용자가 입력할 수 있게 하였으며 미리 설정한 최소 상관계수 임계값 보다 높고 여러 상관계수 값들 중에서 가장 높은 값을 갖는 것을 정합점으로 결정하였다. 상관계수 값이 여러 개 있는 이유는 템플릿 영상이 여러 개 존재하기 때문이다.
템플릿 정합을 수행하기 위한 소규모 템플릿은 타겟 위치를 중심으로 하여 영상에서 2~3개 정도 선정하고 이를 기준으로 상하 및 좌우를 회전하여 부가적인 템플릿 영상을 생성하였다. 이러한 이유는 카메라 캘리브레이션을 위해서 대상물을 촬영할 때 카메라의 회전과 기울기 등에 따라 템플릿의 크기와 모양이 달라질 수 있기 때문이다.
템플릿 정합을 수행하여 타겟의 중심위치가 1차적으로 결정되고 나면 타겟 중심위치를 정제하여 정확한 위치를 결정하기 위해서 캐니(Canny) 경계선 추출 연산자를 이용하여 타겟 주변의 경계선을 추출 하였다. 추출된 경계선에 Fig.
네 번째 단계는 투영된 영상좌표를 기준으로 일정한 영역을 설정하여 템플릿(template) 정합을 수행하고 상관계수값이 설정한 임계값 이상인 영상좌표를 추출한다. 템플릿 정합을 통해서 결정된 영상좌표의 정확도를 높이기 위해서 탐색영역의 크기를 줄인 후 타겟 주변의 경계선을 추출한 후 경계선의 교점을 이용하여 수동으로 관측하지 않은 나머지 타겟의 위치를 자동으로 정제한다.
대상 데이터
기준점은 수평 및 수직위치 정확도가 ±3mm인 토탈스테이션(SOKKIA SET550RX)을 이용하여 측량하였다.
출력된 A1 크기의 체스보드 타겟은 평평한 벽면에 고정시키고 일정한 거리에서 카메라의 위치와 자세를 바꿔가면서 총 16장의 영상을 촬영하였다. 촬영된 체스보드 영상은 Fig.
9와 같이 34군데를 선정하여 기준점 측량을 실시하였으며 이중 6점은 기준점(△ 표시)으로 사용하고 나머지 28점은 검사점(Ο 표시)으로 활용하여 3차원 정확도 평가에 사용하였다. 캘리브레이션된 카메라를 이용하여 3차원 모형에 대해 13장의 영상을 촬영하였다. 또한 기준점과 검사점의 영상좌표는 수작업으로 관측하였으며 Fig.
성능/효과
Table 3에서 알 수 있듯이 BBA를 수행한 후 사후 분산값은 0.399 픽셀(pixel)로 나타났으며 내부표정요소에서 주점위치와 초점거리의 표준편차는 약 ±0.966∼±1.427 픽셀로 나타났다.
검사점의 수평위치와 수직위치에 대한 평균제곱근오차를 픽셀단위로 환산하기 위해서, 수평위치오차는 약 0.0058m(= #) 이므로 GSD 0.0056m를 고려하여 이를 픽셀단위로 환산하면 약 1.04 픽셀로 나타났고 수직위치는 약 1.25 픽셀로 나타났다
둘째, 캘리브레이션을 수행하기 위한 체크보드의 크기와 형태에 관계없이 3~4점의 영상좌표를 관측하면 이를 통해서 기준점과의 영상(또는 사진)좌표와의 관계성을 파악한 후 영상좌표를 관측하지 않은 나머지 기준점을 템플릿정합과 타겟 주변의 경계선의 교점을 이용하여 반자동으로 카메라 캘리브레이션을 수행할 수 있었다.
셋째, 소규모 3차원 모델을 통한 실험을 통해서 카메라 렌즈의 방사방향 왜곡보정을 위해서 값을 추정하여 3차원 위치를 결정하였으며 검사점을 이용한 정확도 평가를 통해서 수평위치오차와 수직위치 오차는 각각 약 ±0.006m와 ±0.007m로 나타났다.
후속연구
향후 캘리브레이션을 위한 체크보드를 설계하여 자동으로 타겟의 위치를 추출하는 연구가 수행되면 수작업으로 기준점에 대한 3~4점의 초기 영상좌표를 관측하는 번거로움을 줄일 수 있을 것으로 판단된다.
질의응답
핵심어
질문
논문에서 추출한 답변
카메라 캘리브레이션이란 무엇인가?
카메라 캘리브레이션은 카메라의 초점거리, 주점위치 그리고 카메라의 렌즈왜곡계수를 결정하는 과정이다. 카메라 렌즈 왜곡은 방사왜곡(radial distortion), 접선왜곡(tangential distortion) 등이 있으며, 방사왜곡은 주점에서 방사 방향으로 멀어질수록 3차원 대상물이 사진 상에서 이동되어서 맺히는 현상을 모델링하기 위한 것이고 접선왜곡은 카메라 렌즈를 통과하는 광축과 영상센서(CCD (Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide-Semiconductor))의 수평이 맞지 않아 발생하는 현상을 모델링하기 위한 것이다(Lee, 2013).
카메라 캘리브레이션(calibration)의 대상인 카메라의 내부적인 특성에는 어떤 것들이 있는가?
사진측량 및 컴퓨터비전에서 카메라를 이용하여 3차원 위치를 결정할 때 가장 먼저 선행되어야 할 작업 중의 하나는 카메라의 초점거리, 주점위치, 렌즈왜곡계수와 같은 내부적인 특성을 정확하게 파악하는 것이다. 이러한 카메라의 내부적인 특성을 파악하는 것을 카메라 캘리브레이션(calibration)이라고 하고, 카메라 캘리브레이션을 수행하고 나면 3차원 대상물의 점과 사진상에 맺힌 점과의 관계를 정확하게 설정할 수 있게 된다.
카메라 캘리브레이션 수행 절차는 어떻게 되는가?
본 연구에서는 캘리브레이션 타켓의 크기와 형태에 크게 영향을 받지 않고 카메라 캘리브레이션을 수행할 수 있는 기법을 제안하는 것을 목적으로 하였다. 카메라 캘리브레이션을 수행하는 절차는 캘리브레이션 타겟의 초기 관측점을 이용한 카메라 외부표정요소 추정, 캘리브레이션 타겟의 인식, 번들블록조정(Bundle Block Adjustment, BBA)을 통한 캘리브레이션 매개변수 결정 순으로 이루어진다. 2장에서는 본 연구에서 제안하는 방법론을 기술하였고 3장에서는 체스보드(chessboard) 형태의 타겟을 이용하여 카메라 캘리브레이션을 수행하였다.
참고문헌 (10)
Ahn, J. and Chung, W. (2010), A study on 6-axis articulated robot using a quaternion interpolation, Proceedings of the Korean Society of Manufacturing Technology Engineers Fall Meeting, 22 October, Gwangju, Korea, pp. 294-300. (in Korean with English abstract)
Ahn, J. and Chung, W. (2011), A study on orientations interpolation of 6-axis articulated robot using quaternion, Korean Society of Manufacturing Technology Engineers, Vol. 20, No. 6, pp. 778-784. (in Korean with English abstract)
Habib, A., Lari, Z., Kwak., E., and Al-Durgham, K. (2013), Automated detection, localization, and identification of signalized targets and their impact on digital camera calibration, Revista Brasileira de Cartografia, Vol. 65, No. 4, pp. 785-803.
Habib, A. and Morgan, M. (2003), Automatic calibration of low-cost digital cameras, Optical Engineering, Vol. 42, No. 4, pp. 948-956.
Houssineau, J., Clark, D., Ivekovic, S., Lee, C., and Franco, J. (2016), A unified approach for multi-object triangulation, tracking and camera calibration, IEEE Transactions on Signal Processing, Vol. 64, No. 11, pp. 2934-2948.
Lee, J. (2013), Camera calibration and distortion correction, Korea Robotics Society Review, Vol. 10, No. 1. pp. 23-29. (in Korean)
Lee, C., Lee, B., and Eo, Y. (2008), Experiment on camera platform calibration of a multi-looking camera system using single non-metric camera, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 26, No. 4, pp. 351-357. (in Korean with English abstract)
Mazaheri, M. and Habib, A. (2015), Quaternion-based solutions for the single photo resection problem, Photogrammetric Engineering and Remote Sensing, Vol. 81, No. 3, pp. 209-217.
Ramalingam, S. and Sturm, P. (2017), A unifying model for camera calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 7, pp. 1309-1319.
Seo, S. and Lee, B. (2017), In-situ self-calibration of non-metric camera and digital stereo plotting for public survey, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 35, No. 3, pp. 145-154. (in Korean with English abstract)
※ AI-Helper는 부적절한 답변을 할 수 있습니다.