[논문]코사인 법칙과 3차원 좌표 변환을 이용한 단사진의 후방교회법

홍송표; 최한승; 김의명

doi:10.7848/ksgpc.2019.37.3.189

코사인 법칙과 3차원 좌표 변환을 이용한 단사진의 후방교회법
Single Photo Resection Using Cosine Law and Three-dimensional Coordinate Transformation 원문보기

한국측량학회지 = Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, v.37 no.3, 2019년, pp.189 - 198

홍송표 (Department of GIS Engineering, Namseoul University) , 최한승 (GIS Research Center, Geospatial Information Technology Co., Ltd) , 김의명 (Department of Spatial Information Engineering, Namseoul University)

초록
AI-Helper

사진측량에서 단사진의 후방교회법은 이미 알고 있는 카메라의 내부표정요소, 지상좌표, 사진좌표를 이용하여 촬영당시 카메라의 위치와 자세에 해당하는 외부표정요소를 결정하는 방법이다. 본 연구에서는 코사인 법칙과 선형식기반의 3차원 좌표변환식을 이용하여 카메라의 외부표정요소를 결정할 수 있는 단사진의 공간후방교회법 알고리즘을 제안하였다. 제안한 알고리즘은 먼저 렌즈왜곡이 보정된 정규좌표를 코사인 법칙을 이용하여 지상좌표와 이에 대응되는 정규좌표간의 축척을 계산하였다. 그리고 나서 축척을 고려한 정규좌표와 지상좌표를 이용하는 선형방정식 기반의 3차원 좌표변환식을 적용하여 외부표정요소를 결정하였다. 제안한 알고리즘은 비선형방정식으로 편미분이 필요하나 지상좌표의 조합 중 가장 긴 거리를 구하여 각 지상좌표에 나누는 방법을 이용하여 초기값에 민감하지 않은 장점이 있었다. 또한, 세 점을 이용하여도 외부표정요소를 결정할 수 있기 때문에 기준점의 기하학적 배치에 안정적인 장점이 있었다.

Abstract ▼ AI-Helper

In photogrammetry, single photo resection is a method of determining exterior orientation parameters corresponding to a position and an attitude of a camera at the time of taking a photograph using known interior orientation parameters, ground coordinates, and image coordinates. In this study, we proposed a single photo resection algorithm that determines the exterior orientation parameters of the camera using cosine law and linear equation-based three-dimensional coordinate transformation. The proposed algorithm first calculated the scale between the ground coordinates and the corresponding normalized coordinates using the cosine law. Then, the exterior orientation parameters were determined by applying linear equation-based three-dimensional coordinate transformation using normalized coordinates and ground coordinates considering the calculated scale. The proposed algorithm was not sensitive to the initial values by using the method of dividing the longest distance among the combinations of the ground coordinates and dividing each ground coordinates, although the partial derivative was required for the nonlinear equation. In addition, since the exterior orientation parameters can be determined by using three points, there was a stable advantage in the geometrical arrangement of the control points.

주제어

표/그림 (11)

그림 Fig. 1. Geometric constraints at two corresponding points.
그림 Fig. 2. Geometric constraints at three corresponding points.
그림 Fig. 3. Implementation procedure of the proposed algorithm
그림 Fig. 4. Calibration target
그림 Fig. 5. Mean reprojection error per image
그림 Fig. 6. Used image
표 Table 1. Camera calibration result
표 Table 2. Point ID used
그림 Fig. 7. Layout of point pairs
표 Table 3. Experimental results
표 Table 4. Experiments using normalized coordinate

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 본 연구에서는 최소 3점 이상을 이용하여 초기값 및 기하학적 배치에 안정적이고 신속한 자료처리가 가능한 SPR 방법을 제안하는 것을 목적으로 하였다.

제안 방법

3가지 알고리즘을 비교하기 위하여 재투영 오차가 0.16 픽셀 이내로 수렴되는 조건을 사용하였다. 재투영 오차를 수렴조건으로 한 이유는 각 알고리즘을 일관적으로 비교하기 위해서 이며 0.
세 번째, 결정된 거리를 이용하여 정규좌표와 정규화된 지상좌표간의 축척계수를 결정한다. 네 번째, 축척이 고려된 정규좌표와 정규화된 지상좌표를 선형방정식 기반의 3차원 좌표변환에 적용하여 카메라의 자세와 위치에 해당하는 외부표정요소를 결정한다.
첫번째 렌즈왜곡이 보정된 정규좌표를 코사인 법칙을 이용하여 지상좌표와 이에 대응되는 정규좌표간의 축척을 계산한다. 두 번째 지상좌표와 이에 대응되는 축척이 적용된 정규좌표를 선형방정식 기반의 3차원 좌표변환 알고리즘을 적용하여 카메라의 위치와 자세에 해당하는 외부표정요소를 결정한다.
본 연구에서는 코사인 법칙을 이용하여 카메라의 투영중심과 지상기준점간의 축척을 계산하여 3차원 관계를 구축하고 이를 선형방정식 기반의 3차원 좌표변환을 이용하여 카메라의 외부표정요소를 결정하는 연구를 수행하였고 다음과 결론을 도출하였다.
두 번째, 구성된 관측방정식을 가우스-뉴턴법을 이용하여 수렴할 때 까지 반복한다. 세 번째, 결정된 거리를 이용하여 정규좌표와 정규화된 지상좌표간의 축척계수를 결정한다. 네 번째, 축척이 고려된 정규좌표와 정규화된 지상좌표를 선형방정식 기반의 3차원 좌표변환에 적용하여 카메라의 자세와 위치에 해당하는 외부표정요소를 결정한다.
실험을 위하여 먼저 카메라 캘리브레이션을 수행하였다. 이를 위해 칼텍(caltech: california institute of technology)의 컴퓨터 비전 연구실에서 제공하는 18장의 체스보드 영상을 사용하였고, 체스보드는 Fig.
이에 본 연구에서는 지상좌표의 조합 중 가장 긴 거리를 구하여 각 지상좌표에 나누어 초기값의 범위를 좁히는 방법을 사용하였다. 따라서 정규화된 지상좌표 간에 거리의 범위는 0 ~ 1 사이가 된다.
3과 같고 세부적으로는 네 단계로 구분할 수 있다. 첫 번째, 왜곡이 보정된 정규좌표와 정규화된 지상좌표를 코사인 법칙을 이용하여 투영중심과 정규화된 지상좌표간의 거리를 결정할 수 있는 관측방정식을 구성한다. 두 번째, 구성된 관측방정식을 가우스-뉴턴법을 이용하여 수렴할 때 까지 반복한다.

대상 데이터

실험을 위하여 먼저 카메라 캘리브레이션을 수행하였다. 이를 위해 칼텍(caltech: california institute of technology)의 컴퓨터 비전 연구실에서 제공하는 18장의 체스보드 영상을 사용하였고, 체스보드는 Fig. 4과 같이 흑백간격은 가로 및 세로가 3cm이다(Bouguet, 2015).

데이터처리

각 알고리즘의 기준점 배치와 점 개수에 대한 실험결과는 Table 3과 같으며 결정된 외부표정요소를 이용하여 모든 타겟점(156점)에 대한 평균 재투영 오차를 계산하였다.
본 연구에서 제안한 단사진의 외부표정요소 결정 방법을 비교적 최근에 개발된 공면조건 및 쿼터니언 회전을 이용한 SPR(Mazaheri and Habib, 2015), 컴퓨터 비전에서 주로 사용되는 RANSAC기반의 PnP(Torr and Zisserman, 2000; Gao et al., 2003)와 비교하였다.
이론상으로는 쿼터니언 기반의 SPR은 3점 이상, RANSAC 기반의 PnP는 4점 이상, 본 연구에서 제안한 방법의 경우 3점이상이 필요하며 일관적인 수치적 결과를 위하여 각 알고리즘들을 Matlab을 이용하여 구현하였다.

이론/모형

만약, n개의 점이 존재할 경우 n개 중에 2개를 선택할 조합 순서를 이용하여 관측방정식을 인덱싱할 수 있으며 Eq. (14)와 같이 가우스-뉴턴법(gauss-newton method)을 이용하여 최소제곱의 해를 결정할 수 있다. 여기서 가우스-뉴턴법이란 다변수 벡터 함수로 구성된 비선형 연립방정식의 해를 구하는 최적화 방법이며 초기값 벡터(∆^D)을 이용하여 수렴할 때까지 반복해야 한다(Nielsen, 2013).
(3)과 같이 정규좌표를 코사인 법칙을 이용하여 사이각(θ)을 계산한다(Grafarend and Shan, 1997).
3차원 좌표변환에는 다양한 알고리즘이 존재하지만 본 연구에서는 짐벌락 현상이 발생하지 않고 비교적 간단한 선형 방정식으로 구성되어 있는 Kabsch가 제안한 알고리즘을 사용하였다(Kabsch, 1976). 이를 위해 Eq.
본 연구에서 제안한 방법은 크게 두 단계로 구분된다. 첫번째 렌즈왜곡이 보정된 정규좌표를 코사인 법칙을 이용하여 지상좌표와 이에 대응되는 정규좌표간의 축척을 계산한다. 두 번째 지상좌표와 이에 대응되는 축척이 적용된 정규좌표를 선형방정식 기반의 3차원 좌표변환 알고리즘을 적용하여 카메라의 위치와 자세에 해당하는 외부표정요소를 결정한다.

성능/효과

4점 이상의 경우에는 각 알고리즘을 이용한 검사점의 평균 재투영 오차가 모두 0.16 픽셀 이내로 나타났지만 쿼터니언 기반의 SPR은 사용된 점 개수가 증가 할수록 반복횟수가 크게 증가하였지만 본 연구에서 제안한 알고리즘은 반복횟수가 일관적 이였다. 또한 RANSAC기반의 PnP 알고리즘은 반복횟수 및 검사점의 재투영 오차가 랜덤하며, 최대 반복횟수를 감소시킬 경우에는 해를 결정하지 못하는 경우가 간혹 발생하였다.
첫째, 본 연구에서 제안한 방법은 일반적으로 사용하는 오일러 회전각을 직접적으로 결정하는 공선조건식 기반의 후방교회법에 비하여 관측방정식의 구성에 있어 편미분이 매우 간단하고 짐벌락 현상이 발생하지 않는다. 더욱이 오일러 회전각을 이용하는 기존의 방법은 회전각의 정규화가 불가능하지만, 제안한 방법의 경우에는 지상좌표 간의 거리를 이용하기 때문에 정규화가 가능하여 초기값의 영향이 적은 장점이 있었다.
첫 번째, 왜곡이 보정된 정규좌표와 정규화된 지상좌표를 코사인 법칙을 이용하여 투영중심과 정규화된 지상좌표간의 거리를 결정할 수 있는 관측방정식을 구성한다. 두 번째, 구성된 관측방정식을 가우스-뉴턴법을 이용하여 수렴할 때 까지 반복한다. 세 번째, 결정된 거리를 이용하여 정규좌표와 정규화된 지상좌표간의 축척계수를 결정한다.
둘째, 점의 기하학적 배치가 직각삼각형 형태일 때에는 쿼터니언 기반의 SPR은 발산하였고 본 연구에서 제안한 방법은 수렴하였으며, 정삼각형 형태일 경우에는 쿼터니언 기반의 SPR은 수렴하였지만 본 연구에서 제안한 방법보다 검사점의 평균 재투영 오차가 크게 나타났다. 또한 쿼터니언 기반의 SPR은 사용된 점의 개수가 증가 할수록 반복횟수가 크게 증가하였고, 본 연구에서 제안한 알고리즘은 반복횟수가 적고 일관적 이었다.
따라서 본 연구에서 제안한 방법이 쿼터니언 기반의 SPR보다 점의 기하학적 배치에 안정적이며, 수렴속도 측면에서도 우수한 성능을 보였다. 또한 최소 4점을 이용하는 RANSAC 기반의 PnP에 비해 본 연구에서 제안한 방법은 최소 3점을 사용하는 장점이 있다.
또한 Table 4와 같이 본 연구에서 제안한 알고리즘의 초기값을 모두 1로 설정한 후에 지상좌표를 정규화한 경우와 그렇지 않은 경우의 반복횟수를 비교한 결과, 정규화를 수행하였을 경우에 반복횟수가 감소하였고, 정규화를 수행하지 않더라도 해가 수렴하는 것을 알 수 있었다.
실험결과 3점을 이용할 경우, 점의 기하학적 배치가 직각삼각형 형태일 때에는 쿼터니언 기반의 SPR은 발산하였으며 본연구에서 제안한 방법은 수렴 하였다. 또한 정삼각형 형태일 경우에는 쿼터니언 기반의 SPR은 수렴하였지만 검사점의 평균 재투영 오차가 0.16 픽셀 이상으로 나타났다.
둘째, 점의 기하학적 배치가 직각삼각형 형태일 때에는 쿼터니언 기반의 SPR은 발산하였고 본 연구에서 제안한 방법은 수렴하였으며, 정삼각형 형태일 경우에는 쿼터니언 기반의 SPR은 수렴하였지만 본 연구에서 제안한 방법보다 검사점의 평균 재투영 오차가 크게 나타났다. 또한 쿼터니언 기반의 SPR은 사용된 점의 개수가 증가 할수록 반복횟수가 크게 증가하였고, 본 연구에서 제안한 알고리즘은 반복횟수가 적고 일관적 이었다.
셋째, RANSAC기반의 PnP는 최소 4점이 필요하며 외부표 정요소가 랜덤하게 결정되고 최대 반복횟수를 감소시킬 경우에는 해를 결정하는 못하는 경우가 간혹 발생하였다.
실험결과 3점을 이용할 경우, 점의 기하학적 배치가 직각삼각형 형태일 때에는 쿼터니언 기반의 SPR은 발산하였으며 본연구에서 제안한 방법은 수렴 하였다. 또한 정삼각형 형태일 경우에는 쿼터니언 기반의 SPR은 수렴하였지만 검사점의 평균 재투영 오차가 0.
첫째, 본 연구에서 제안한 방법은 일반적으로 사용하는 오일러 회전각을 직접적으로 결정하는 공선조건식 기반의 후방교회법에 비하여 관측방정식의 구성에 있어 편미분이 매우 간단하고 짐벌락 현상이 발생하지 않는다. 더욱이 오일러 회전각을 이용하는 기존의 방법은 회전각의 정규화가 불가능하지만, 제안한 방법의 경우에는 지상좌표 간의 거리를 이용하기 때문에 정규화가 가능하여 초기값의 영향이 적은 장점이 있었다.

후속연구

따라서 제안한 알고리즘으로 영상기반 실시간 자동추적, 영상을 이용한 자율주행차의 위치 및 자세결정, 공선조건식 기반의 번들조정(bundle adjustment) 및 카메라 캘리브레이션의 초기값 선정 등의 영상을 이용한 다양한 분야에서 활용될 것으로 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	가우스-뉴턴법이란?	(14)와 같이 가우스-뉴턴법(gauss-newton method)을 이용하여 최소제곱의 해를 결정할 수 있다. 여기서 가우스-뉴턴법이란 다변수 벡터 함수로 구성된 비선형 연립방정식의 해를 구하는 최적화 방법이며 초기값 벡터(∆D)을 이용하여 수렴할 때까지 반복해야 한다(Nielsen, 2013). 따라서 초기값이 좋지 못하거나 범위가 클 경우에는 해가 수렴하지 못할 경우가 발생 한다(Lim, 2018).
	사진측량에서 단사진의 후방교회법이란?	사진측량에서 단사진의 후방교회법(SPR: Single Photo Resection)이란 이미 알고 있는 카메라의 내부표정요소(IOP: Interior Orientation Parameters), 지상좌표, 지상좌표가 영상에 투영된 사진좌표를 이용하여 카메라의 위치와 자세에 해당하는 외부표정요소(EOP: Exterior Orientation Parameters)를 결정하는 것을 뜻하며 6개의 매개변수로 구성되어 있다(Mikhail et al., 2001).
	전통적으로 사진측량에서 사용되는 후방교회법의 단점은?	, 2011). 또한 카메라의 자세에 해당하는 오일러 회전각을 직접적으로 결정할 경우에는 짐벌락(gimbal lock)현상이 발생할 수 있는 단점이 있다 (Kim and Choi, 2018). 이에 사진측량에서는 공선조건식에서의 오일러 회전을 쿼터니언(quaternion) 회전으로 변환하여 비선형 방정식의 안정성을 향상시킨 연구(Jiang et al.

참고문헌 (17)

Bouguet, J.Y. (2015), Camera calibration toolbox for Matlab, Caltech Vision, URL: http://www.vision.caltech.edu/bouguetj/calib_doc (last date accessed: 22 May 2019).
Fischler, M.A. and Bolles, R.C. (1981), Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM. Vol. 24, No. 6, pp. 381-395.

상세보기
Gao, X.S., Hou, X.R., Tang, J., and Cheng, H.F. (2003), Complete solution classification for the perspective-threepoint problem. IEEE transactions on pattern analysis and machine intelligence, Vol. 25, No. 8, pp. 930-943.

상세보기
Grafarend, E.W. and Shan, J. (1997), Closed-form solution of P4P or the three-dimensional resection problem in terms of Mobius barycentric coordinates, Journal of Geodesy, Vol. 71, No. 4, pp. 217-231.

상세보기
Guan, Y., Cheng, X., Zhan, X., and Zhou, S. (2008), Closed-form solution of space resection using unit quaternion. In Artigo apresentado no XXI ISPRS Congress, 3-11 July 2008, Beijing, China, Vol. XXXVII, Part B3b, pp. 3-11.
Jiang, G.W., Jiang, T., Wang, Y., and Gong, H. (2007). Space resection independent of initial value based on unit quaternions, Acta Geodaetica et Cartographica Sinica, Vol. 36, No. 2, pp. 169-175.
Hong, S.P. and Kim, E.M. (2019), Comparison of point-based 3d transformation methods, Proceedings of Journal of Korean Society for Geospatial Information System, Korean Society for Geospatial Information Science, 31-1 May, Busan, Korea, pp. 19-22. (in Korean)
Kabsch, W. (1976), A solution for the best rotation to relate two sets of vectors, Acta Crystallographica Section A: Crystal Physics, Diffraction, Theoretical and General Crystallography, Vol. 32, No. 5, pp. 922-923.

상세보기
Kim, E.M. and Choi, H.S. (2018), Analysis of the accuracy of quaternion-based spatial resection based on the layout of control points, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 36, No. 4, pp. 255-262. (in Korean with English abstract)
Lepetit, V., Moreno-Noguer, F., and Fua, P. (2009). EPnP: an accurate o(n) solution to the PnP problem. International Journal of Computer Vision, Vol. 81, No. 2, pp. 155-166.

상세보기
Lim, J.H. (2018), Optimization Theory, Jang-Hwan Publishing, Goyang.
Luhmann, T., Robson, S., Kyle, S., and Harley, I. (2011), Close Range Photogrammetry Principles, techniques and applications, Whittles Publishing, Caithness.
Mazaheri, M. and Habib, A. (2015), Quaternion-based solutions for the single photo resection problem, Photogrammetric Engineering & Remote Sensing, Vol. 81, No. 3, pp. 209-217.

상세보기
Mikhail, E.M., Bethel, J.S., and McGlone, J.C. (2001), Introduction to Modern Photogrammetry, John Wiley & Sons Inc., New York, N.Y.
Nielsen, A.A. (2013). Least squares adjustment: linear and nonlinear weighted regression analysis. Applied Mathematics and Computer Science/National Space Institute, Technical University of Denmark, URL: http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/2804/pdf/imm2804.pdf (last date accessed: 22 May 2019).
Strang, G. (2016), Introduction to Linear Algebra, Wellesley-Cambridge Press, Massachusetts, M.A.
Torr, P.H.S. and Zisserman, A. (2000), Mlesac: a new robust estimator with application to estimating image geometry, Computer Vision and Image Understanding, Vol. 78, No. 1, pp. 138-156.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증