[논문]다중 입체 영상 획득을 위한 정밀 카메라 캘리브레이션 기법

김중희; 윤여훈; 김준수; 윤국진; 정원식; 강석주

doi:10.5909/jbe.2019.24.6.919

다중 입체 영상 획득을 위한 정밀 카메라 캘리브레이션 기법
Accurate Camera Calibration Method for Multiview Stereoscopic Image Acquisition 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.6, 2019년, pp.919 - 927

김중희 (서강대학교 전자공학) , 윤여훈 (서강대학교 전자공학) , 김준수 (한국전자통신연구원) , 윤국진 (한국전자통신연구원) , 정원식 (한국전자통신연구원) , 강석주 (서강대학교 전자공학)

초록
AI-Helper

본 논문에서는 입체 영상을 획득하기 위한 정밀 카메라 캘리브레이션(calibration) 기법을 제안한다. 일반적인 카메라 캘리브레이션 기법은 체커보드 구조의 목적 패턴을 이용하여 수행한다. 체커보드 패턴은 사전에 인지된 격자구조를 활용할 수 있으며, 체커보드 코너점을 통해 특징점 매칭을 용이하게 수행할 수 있음에 따라 2차원 영상 픽셀 지점과 3차원 공간상의 관계를 정확히 추정할 수 있다. 특징점 매칭을 통해 카메라 파라미터를 추정하므로 정밀한 카메라 캘리브레이션을 위해선 영상 평면내의 정확한 체커보드 코너 검출이 필요하다. 따라서 본 논문은 정확한 체커보드 코너 검출을 통해 정밀한 카메라 캘리브레이션을 수행하는 기법을 제안한다. 정확한 코너를 검출하기 위해 1-D 가우시안 필터링을 활용하여 코너 후보군들을 검출한 후 코너 정제(refinement) 과정을 통해 이상치(outlier)들을 제거하며 영상내의 부분 픽셀(sub-pixel) 단위의 정확한 코너를 검출한다. 제안한 기법을 검증하기 위해 카메라 내부 파라미터를 추정 결과를 판단하는 재투사 오차(reprojection error)를 확인하며, 카메라 위치 ground truth 값이 제공된 데이터 셋을 활용하여 카메라 외부 파라미터 추정 결과를 확인한다.

Abstract ▼ AI-Helper

In this paper, we propose an accurate camera calibration method for acquiring multiview stereoscopic images. Generally, camera calibration is performed by using checkerboard structured patterns. The checkerboard pattern simplifies feature point extraction process and utilizes previously recognized lattice structure, which results in the accurate estimation of relations between the point on 2-dimensional image and the point on 3-dimensional space. Since estimation accuracy of camera parameters is dependent on feature matching, accurate detection of checkerboard corner is crucial. Therefore, in this paper, we propose the method that performs accurate camera calibration method through accurate detection of checkerboard corners. Proposed method detects checkerboard corner candidates by utilizing 1-dimensional gaussian filters with succeeding corner refinement process to remove outliers from corner candidates and accurately detect checkerboard corners in sub-pixel unit. In order to verify the proposed method, we check reprojection errors and camera location estimation results to confirm camera intrinsic parameters and extrinsic parameters estimation accuracy.

주제어

표/그림 (9)

그림 그림 1. 핀홀 카메라 모델 및 영상 평면상의 투영 변환 Fig. 1. Pinhole camera model and image plane projection transformation
그림 그림 2. 단일 및 다중 카메라 모델 도식 예시. Fig. 2. Example images of the of single camera model and multi-camera model
그림 그림 3. 카메라 캘리브레이션을 위한 코너 검출 기법 개념도 Fig. 3. Concept of the corner detection method for camera calibration
그림 그림 4. 체커보드 코너 후보군 검출을 위한 1차원 가우시안 필터링 구조 Fig. 4. 1-dimensional gaussian filtering structure for detecting checkerboard corner candidates
그림 그림 5. 제안 기법 적용 결과 영상. Fig. 5. Proposed method results.
그림 그림 6. 코너 검출 기법 비교 영상. Fig. 6. Corner detection method comparison results.
그림 그림 7. 제안 기법 및 OpenCV 기법을 적용한 정성적 코너 검출 결과 영상 Fig. 7. The qualitative corner detection result of the proposed method and the OpenCV[10] method
표 표 1. 코너 검출 기법에 따른 재투사 오차 실험 결과 Table 1. The reprojection error according to checkerboard corner detection methods
표 표 2. 카메라 1을 기준으로 코너 검출 기법에 따른 상대적인 카메라 변위 추정 오차 Table 2. The relative translation error according to checkerboard corner detection methods based on camera 1

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 픽셀의 그레디언트 방향을 판단하는 과정에서 임계값을 이용하여 분류를 진행하기 때문에 영상 환경에 민감하게 작용하며 일관적이지 않은 결과를 출력한다. 따라서 본 논문은 정밀 카메라 캘리브레이션을 위해 영상환경에 강건하고 정확도 높은 코너 검출 기법을 제안하며실험을 통해 검출 성능을 평가한다.
따라서, 본 논문에선 주어진 데이터를 최대한 활용하며카메라 캘리브레이션의 정확도를 높일 수 있는 정밀한 체커보드 코너 검출 기법을 제안한다.
본 논문에서는 입체 영상 취득을 위한 정밀한 카메라캘리브레이션 기법을 제안하였다. 정밀한 카메라 파라미터를 추정하기 위해 정확한 코너 검출 기법을 제안하였으며 기존 알고리즘 대비 개선되며 정확한 결과를 출력함을확인하였다.

제안 방법

데이터 셋은 각 카메라에 대해 내부 파라미터를 추정하기 위한40장의 영상과 카메라 외부 파라미터를 확인하기 위해 모든 카메라에 대해 체커보드가 검출된 1장의 영상을 사용한다. 각 기법에 따른 카메라 캘리브레이션 정확도를 판단하기 위해 검출된 코너값을 기반으로 카메라 내부 파라미터추정을 위한 단일 카메라 캘리브레이션과 상대적인 위치및 자세정보, 카메라 외부 파라미터를 추정하기 위한 다중카메라 캘리브레이션을 진행하였다.
검출된 코너 후보군들에 대해 이상치(outlier)들을 제거하기 위한 정제과정을 적용하며 최종 정제된 체커보드 코너들을 검출한다.
그림 7과 같이 카메라 영상 내에 체커보드가 여러 지점 및 크기로 촬영될 수 있도록 체커보드를 옮기며배치함과 동시에 촬영하였다. 내부 파라미터 추정을 위한카메라 캘리브레이션 영상은 체커보드 1개의 사각형 변의길이가 영상 내에 20-100 pixel에 이르도록 체커보드를 촬영하여 사용하였으며, 외부 파라미터 추정을 위해선 사전에 추정된 카메라 내부파라미터를 기반으로 5대의 카메라모두 공유되는 위치에 체커보드 패턴을 배치하여 최종 외부파라미터를 추정하였다. 정성적인 결과에서 확인할 수있듯이 육안으론 각 체커보드 위치에 따른 결과를 분석하기 어렵기 때문에 카메라 캘리브레이션을 통한 reprojectionerror를 정량적 지표로 비교하였다.
검출된 코너 후보군들이 실제체커보드 코너 부근에 위치할 시 정제과정을 통해 실체 체커보드 코너의 위치를 찾을 가능성이 높아지므로 후보군검출과정이 중요하다. 따라서 정확한 코너들을 검출하기위해 다음과 같은 1차원 가우시안 필터 기반의 코너 후보군검출 기법을 제안한다.
먼저 코너를 검출하기 위해 체커보드가 존재하는 공간을파악하기 위해 닫힌 영역(closed area)을 검출함으로써 체커보드 영역을 파악한다. 설정된 영역내의 코너 후보군들에 대해 동일 코너 점상에 2개 이상의 코너가 검출되는 것을 방지 위해 국지적인 최대값만을 보존하는 비최대값 억제(non-maximal suppression)[7]를 적용한다.
이후 코너 지점 검출을위한 임계값을 설정하여 검출된 코너 점들로 초기 코너 후보군들을 구성한다. 박스 필터가 아닌 가우시안 필터를 적용함으로써 픽셀 부근값에 대한 가중치를 적용할 수 있으므로 체커보드 사이즈와 크기에 강건하며 총 4개의 필터를적용함으로써 적은 연산량을 통해 회전 변환에도 강건한체커보드 코너를 검출을 수행한다. 다중 카메라 캘리브레이션 수행 시 서로 다른 모듈의 카메라에 대해 동일한 코너지점을 검출해야함에 따라 코너 검출 결과가 카메라 모듈환경에 강건해야한다.
를 이용하여 3차원 공간 좌표계상의 점 를 영상 평면으로 투영하는 연산이다. 영상의실제 픽셀 지점과 추정한 파라미터를 통해 투영된 영상 평면상의 지점간의 거리 차이를 통해 추정한 파라미터의 정확도를 판별하며, 모든 체커보드 코너점에 대해 수행하고이를 통해 카메라 캘리브레이션 정확도를 판단한다.
이 후 카메라 외부 파라미터의 추정오차를 비교하는 실험으로 실제 측정된 ground truth 위치 정보값과 캘리브레이션을 통해 추정한 카메라 위치 정보를 비교한 실험을 진행하며, 해당 실험은 사전에 추정한 카메라 내부파라미터를 활용하여 진행한다.
내부 파라미터 추정을 위한카메라 캘리브레이션 영상은 체커보드 1개의 사각형 변의길이가 영상 내에 20-100 pixel에 이르도록 체커보드를 촬영하여 사용하였으며, 외부 파라미터 추정을 위해선 사전에 추정된 카메라 내부파라미터를 기반으로 5대의 카메라모두 공유되는 위치에 체커보드 패턴을 배치하여 최종 외부파라미터를 추정하였다. 정성적인 결과에서 확인할 수있듯이 육안으론 각 체커보드 위치에 따른 결과를 분석하기 어렵기 때문에 카메라 캘리브레이션을 통한 reprojectionerror를 정량적 지표로 비교하였다.
Zhang은 정확하게 검출할수 있는 특징점인 체커보드 코너점과 사전에 인지한 격자구조를 활용하여 특징점간의 위치관계를 쉽게 판단할 수 있다는 특성을 활용하여 간편화된 카메라 캘리브레이션 기법을제안하였다. 체커보드 패턴을 이용하여 영상 좌표계와 3차원공간 좌표계상의 특징점 매칭쌍을 구성한 후, 선형 및 비선형최적화 기법을 적용하여 최적의 카메라 파라미터를 추정한다.
제안하는 기법의 전체 구성은 그림 3와 같다. 체커보드를촬영한 영상을 입력으로 제안한 체커보드 초기 검출 기법을적용하여 체커보드 코너 후보군들을 검출한다. 검출된 코너 후보군들에 대해 이상치(outlier)들을 제거하기 위한 정제과정을 적용하며 최종 정제된 체커보드 코너들을 검출한다.
제안한 기법의 성능 평가를 위해 기존 알고리즘[10]과 제안 기법으로 검출된 체커보드 코너점들을 기반으로 카메라캘리브레이션을 진행하였다. 코너 검출 정확도는 카메라내부 파라미터 추정 정밀도를 의미하는 pixel 단위의 재투사 오차와 카메라 외부파라미터 정확도를 의미하는 카메라위치 추정값을 비교한다.
표 2는 5대의 카메라에 대해 추정한 카메라 파라미터를기준으로, 추가적인 카메라 외부 파라미터 결과를 비교하였다. 카메라 1을 기준으로 상대적인 카메라 위치 좌표 추정값을 비교하였으며 평균 오차는 3차원 좌표 변위에 대한평균 제곱근 오차(RMSE)를 계산하였다.
픽셀의 그레디언트 방향만을 고려한 Harris 코너 검출 기법^[6]보다 강건하며 캘리브레이션 정확도가 개선된 코너 검출을 위한 기법을 제안한다. 검출된 코너 후보군들이 실제체커보드 코너 부근에 위치할 시 정제과정을 통해 실체 체커보드 코너의 위치를 찾을 가능성이 높아지므로 후보군검출과정이 중요하다.

대상 데이터

과 제안한 기법으로 코너 검출 실험을 진행한다. 데이터 셋은 각 카메라에 대해 내부 파라미터를 추정하기 위한40장의 영상과 카메라 외부 파라미터를 확인하기 위해 모든 카메라에 대해 체커보드가 검출된 1장의 영상을 사용한다. 각 기법에 따른 카메라 캘리브레이션 정확도를 판단하기 위해 검출된 코너값을 기반으로 카메라 내부 파라미터추정을 위한 단일 카메라 캘리브레이션과 상대적인 위치및 자세정보, 카메라 외부 파라미터를 추정하기 위한 다중카메라 캘리브레이션을 진행하였다.

데이터처리

제안한 기법의 성능 평가를 위해 기존 알고리즘[10]과 제안 기법으로 검출된 체커보드 코너점들을 기반으로 카메라캘리브레이션을 진행하였다. 코너 검출 정확도는 카메라내부 파라미터 추정 정밀도를 의미하는 pixel 단위의 재투사 오차와 카메라 외부파라미터 정확도를 의미하는 카메라위치 추정값을 비교한다.
표 2는 5대의 카메라에 대해 추정한 카메라 파라미터를기준으로, 추가적인 카메라 외부 파라미터 결과를 비교하였다. 카메라 1을 기준으로 상대적인 카메라 위치 좌표 추정값을 비교하였으며 평균 오차는 3차원 좌표 변위에 대한평균 제곱근 오차(RMSE)를 계산하였다. 제안한 기법의 오차가 기존 기법보다 개선된 결과를 출력함을 평균 오차를통해 확인할 수 있으며 특히 카메라 5의 경우 오차가 크게나타남을 확인할 수 있다.

이론/모형

또한 체커보드 코너 특징점을 부분 픽셀(sub-pixel)단위로 정확하게 검출함으로써 정확한 특징점 매칭을 수행해야 한다. OpenCV^[10]와 같은 상용화된 기존 코너 검출 알고리즘은 Harris 코너 검출기[6]를 활용하며 해당 검출기는픽셀의 그레디언트(gradient) 방향을 기반으로 코너를 검출한다. 하지만 픽셀의 그레디언트 방향을 판단하는 과정에서 임계값을 이용하여 분류를 진행하기 때문에 영상 환경에 민감하게 작용하며 일관적이지 않은 결과를 출력한다.
먼저 코너를 검출하기 위해 체커보드가 존재하는 공간을파악하기 위해 닫힌 영역(closed area)을 검출함으로써 체커보드 영역을 파악한다. 설정된 영역내의 코너 후보군들에 대해 동일 코너 점상에 2개 이상의 코너가 검출되는 것을 방지 위해 국지적인 최대값만을 보존하는 비최대값 억제(non-maximal suppression)[7]를 적용한다. 이후 이상치들이 코너 후보군 ′에 대해 ′의 정사각형 커널을 적용하며 코너 후보군의 인접 픽셀들 \(p \)에 대해 다음과 같은 연산[^8,9]을 수행한다.

성능/효과

표 1은 Harris 코너 검출기반의 기존 알고리즘과 제안한기법간의 카메라 캘리브레이션을 통한 재투사 오차를 비교한 결과이다. 각 카메라 당 그림 7과 같은 50장의 체커보드가 담긴 영상을 활용하여 진행하였으며, 제안 기법의 재투사 오차가 기존 알고리즘 대비 적은 것을 확인할 수 있다. 특히 카메라 5의 경우, 기존 알고리즘의 오차가 큰 값으로나타나며, 이는 체커보드 코너 검출 수행 시 잘못된 코너점을 검출함으로써 인한 것으로 제안 알고리즘이 기존 알고리즘 대비 정확하며 영상에 강건함을 확인할 수 있다.
본 논문에서는 입체 영상 취득을 위한 정밀한 카메라캘리브레이션 기법을 제안하였다. 정밀한 카메라 파라미터를 추정하기 위해 정확한 코너 검출 기법을 제안하였으며 기존 알고리즘 대비 개선되며 정확한 결과를 출력함을확인하였다. 정확한 카메라 내·외부 파라미터를 추정함으로써 2차원 영상 평면과 3차원 공간간의 정밀한 변환 관계를 판단할 수 있었으며 실제 측정값과 영상을 통한 추정값 간의 간극이 줄어드는 것을 확인하였다.
정확한 카메라 내·외부 파라미터를 추정함으로써 2차원 영상 평면과 3차원 공간간의 정밀한 변환 관계를 판단할 수 있었으며 실제 측정값과 영상을 통한 추정값 간의 간극이 줄어드는 것을 확인하였다.
카메라 1을 기준으로 상대적인 카메라 위치 좌표 추정값을 비교하였으며 평균 오차는 3차원 좌표 변위에 대한평균 제곱근 오차(RMSE)를 계산하였다. 제안한 기법의 오차가 기존 기법보다 개선된 결과를 출력함을 평균 오차를통해 확인할 수 있으며 특히 카메라 5의 경우 오차가 크게나타남을 확인할 수 있다. 이는 표 1의 재투사 오차를 통해확인한 추정 내부 파라미터의 부정확함으로 인한 것으로코너 검출이 영상 평면과 3차원 공간간의 관계를 추정하는과정에 큰 영향으로 작용함을 확인할 수 있다.
대각선 방향에 대한 필터링의 경우 연산의 간소화를 위해 영상을 회전시킨 후 픽셀 지점에 대해 상하·좌우 4방향에 대한 가우시안 필터를 적용하여 상하·좌우 방향에 대한 필터링과 동일한 연산을 수행한다. 출력된 1차원 가우시안 필터링 결과를 바탕으로 출력의 극대 극소차이를 판단하며, 만약 해당 지점이 체커보드 코너일 시 필터링된 값의 극대값과 극소값의 차이가 크게 나타난다. 이후 코너 지점 검출을위한 임계값을 설정하여 검출된 코너 점들로 초기 코너 후보군들을 구성한다.
각 카메라 당 그림 7과 같은 50장의 체커보드가 담긴 영상을 활용하여 진행하였으며, 제안 기법의 재투사 오차가 기존 알고리즘 대비 적은 것을 확인할 수 있다. 특히 카메라 5의 경우, 기존 알고리즘의 오차가 큰 값으로나타나며, 이는 체커보드 코너 검출 수행 시 잘못된 코너점을 검출함으로써 인한 것으로 제안 알고리즘이 기존 알고리즘 대비 정확하며 영상에 강건함을 확인할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	카메라 캘리브레이션이란?	몰입도 높은 VR 컨텐츠를 제공하기 위해선카메라의 특성을 파악하고 카메라를 통해 촬영된 영상과 3차원 공간간의 관계를 파악하는 과정이 필수적이며, 이를조직화하고 필요한 파라미터들을 정확히 추정하는 과정이필요하다. 조직화되며 모델화된 카메라 구조와 이를 구성하는 파라미터들을 추정하는 과정을 카메라 캘리브레이션이라 한다. 보편화된 카메라 캘리브레이션 기법[1]은 체커보드 패턴 혹은 독립된 원들로 구성된 패턴을 활용하여 진행한다.
	(본 논문에서)입체 영상을 획득하기 위하여 어떤 기법이 제안되는가?	본 논문에서는 입체 영상을 획득하기 위한 정밀 카메라 캘리브레이션(calibration) 기법을 제안한다. 일반적인 카메라 캘리브레이션 기법은 체커보드 구조의 목적 패턴을 이용하여 수행한다.
	카메라 파라미터를 추정할 때 추정 정확도를 높이기 위한 방법과 그 문제점은?	카메라 파라미터를 추정하는 과정에서영향을 주는 요소는 체커보드가 촬영된 영상 수와 영상의체커보드 코너 검출 정확도 등이 있다. 추정 정확도를 높이기 위해 입력 영상수를 증대 시킬 경우, 체커보드를 여러위치 및 자세로 배치한 영상을 필요로 하며, 이는 많은 업무량과 번거로움을 초래한다.

참고문헌 (10)

Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on pattern analysis and machine intelligence, Vol.22, No.11, pp.1330-1334, December 2000.

상세보기
G. Bloomenthal, and J. Rokne, "Homogeneous coordinates," The Visual Computer, Vol.11, No. 1, pp.15-26, January, 1994.

상세보기
R. Hartley, and A. Zisserman, Multiple view geometry in computer vision, Cambridge university press, pp.151-176, 2003.
R. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses," IEEE Journal on Robotics and Automation, Vol. RA-3, No.4, pp.323-344, August, 1987.
Q.T. Luong, and O. D. Faugeras, "The fundamental matrix: Theory, algorithms, and stability analysis," International journal of computer vision, Vol.17, No.1, pp.43-75, January, 1996.

상세보기
Y. Ma, S. Soatto, J. Kosecka, and S. S. Sastry, An invitation to 3-d vision : from images to geometric models, Springer Science & Business Media, pp. 82-90, 2012.
A. Neubeck and L. Gool, "Efficient non-maximum suppression," 18th International Conference on Pattern Recognition, Hong Kong, China, pp.850-855, 2006.
A. Geiger et al., "Automatic camera and range sensor calibration using a single shot," IEEE International Conference on Robotics and Automation, Minnesota, USA, pp.3936-3943, 2012.
W. Forstner and E. Gulch, "A fast operator for detection and precise location of distinct points, corners and centres of circular features," Proc. ISPRS intercommission conference on fast processing of photogrammetric data, Interlaken, Germany, pp.281-305, 1987.
OpenCV 3.0, https://opencv.org/opencv-3-0.html

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증