[논문]다양한 카메라와 조명의 변화에 강건한 반자동 카메라 캘리브레이션 방법

신동원; 호요성

doi:10.5909/jbe.2016.21.1.36

다양한 카메라와 조명의 변화에 강건한 반자동 카메라 캘리브레이션 방법
Robust Semi-auto Calibration Method for Various Cameras and Illumination Changes 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.21 no.1, 2016년, pp.36 - 42

신동원 (광주과학기술원 정보통신공학부) , 호요성 (광주과학기술원 정보통신공학부)

초록
AI-Helper

최근 다시점 카메라 시스템을 기반으로 한 3차원 영상 렌더링 방법을 통해 3차원 콘텐츠가 많이 제작되고 있다. 이러한 깊이 영상 기반 렌더링에서는 필연적으로 색상 카메라와 깊이 카메라 간의 시점 차이가 발생하기 때문에 두 카메라의 시점을 일치시키는 전처리 과정으로서 카메라 파라미터가 중요한 역할을 수행한다. 기존의 카메라 캘리브레이션 방법은 평면의 체스보드 패턴을 회전과 이동이 수행된 여러 자세로 촬영한 다음 획득된 영상에서 패턴 특징 점을 손으로 직접 선택해야하는 불편함이 따른다. 따라서 본 논문에서는 이 문제를 해소하기 위해 원형 샘플 화소 검사와 호모그래피 예측을 이용한 반자동 카메라 캘리브레이션을 제안한다. 제안하는 방법은 먼저 FAST 코너 검출 알고리즘을 이용하여 패턴 특징 점의 후보를 영상으로부터 추출한다. 다음으로 원형 샘플 화소를 검사하여 후보군의 크기를 줄이고 호모그래피 예측을 통해 손실된 패턴 특징 점을 보완하는 완전한 패턴 특징 점군을 획득한다. 마지막으로 쌍곡 포물면 근사를 통해 실수 단위의 정확성을 가지는 패턴 특징 점의 위치를 획득한다. 실험을 통해 각 단계에서 어떤 요인이 패턴 특징 점 검출에 영향을 미치는가에 대해 조사했고 제안하는 방법이 기존의 방법과 비교하여 카메라 파라미터의 정확성은 유지하고 수작업의 불편함을 해소할 수 있음을 확인했다.

Abstract ▼ AI-Helper

Recently, many 3D contents have been produced through the multiview camera system. In this system, since a difference of the viewpoint between color and depth cameras is inevitable, the camera parameter plays the important role to adjust the viewpoint as a preprocessing step. The conventional camera calibration method is inconvenient to users since we need to choose pattern features manually after capturing a planar chessboard with various poses. Therefore, we propose a semi-auto camera calibration method using a circular sampling and an homography estimation. Firstly, The proposed method extracts the candidates of the pattern features from the images by FAST corner detector. Next, we reduce the amount of the candidates by the circular sampling and obtain the complete point cloud by the homography estimation. Lastly, we compute the accurate position having the sub-pixel accuracy of the pattern features by the approximation of the hyper parabola surface. We investigated which factor affects the result of the pattern feature detection at each step. Compared to the conventional method, we found the proposed method released the inconvenience of the manual operation but maintained the accuracy of the camera parameters.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 기존의 방법의 문제점을 해결하기 위해 인간의 개입을 최소화한 반자동으로 패턴 특징 점을 검출하는 방법을 제안하고 실험을 통해 기존의 방법과 비교하여 카메라 파라미터의 정확성은 유지하고 수작업의 문제점은 해소했다.
본 논문에서는 카메라 파라미터를 획득하는 카메라 캘리브레이션에서 패턴 특징 점을 반자동으로 획득하는 방법을 제안했다. 먼저 FAST 코너 검출 알고리즘을 이용하여 패턴 특징 점의 후보를 영상으로부터 추출하고 원형 샘플 화소 검사 단계를 통해 후보군의 크기를 줄인다.

제안 방법

다음으로 촬영된 패턴 영상에서 패턴의 교차점인 패턴 특징 점을 정확하게 검출한다. 마지막으로 검출된 패턴 특징 점을 이용하여 카메라 파라미터 값을 미지수로 가지는 선형 방정식을 구성하여 푼다. 그런데 기존의 방법은 패턴 특징 점을 검출하는 단계에서 사람이 직접 손으로 영상에서 점들을 선택해야하는 불편함이 존재한다.
호모그래피 예측은 3차원 공간에서 두 평면에 대한 임의의 원근투영변환 관계를 예측하는 방법으로 주어진 두 평면 위의 점군으로부터 호모그래피 변환행렬을 계산한다. 본 논문의 호모그래피 예측 단계에서는 이전 단계의 결과에서 빛의 포화 또는 부족 현상 때문에 패턴 특징 점을 찾지 못하는 문제를 해결하기 위하여 이상적인 패턴 특징 점군과 검출된 패턴 특징 점군 사이의 호모그래피를 계산하여 점의 손실을 보완하는 방법을 제안한다. 그림 5는 호모그래피 예측을 통한 패턴 특징 점 검출 과정을 도식화한 그림이다[5].

대상 데이터

하나의 카메라로부터 10장의 체스보드 패턴 영상을 촬영했고 한 장의 패턴 영상에 가로 5개, 세로 3개의 패턴을 사용했다. 따라서 한 장의 패턴 영상에 대해 24개이며 전체 영상에 대해서는 총 240개의 패턴 특징 점을 추출한다.
실험에서 사용된 색상 카메라는 Basler사의 piA1900-32gc이고 해상도는 1920×1080이다. 하나의 카메라로부터 10장의 체스보드 패턴 영상을 촬영했고 한 장의 패턴 영상에 가로 5개, 세로 3개의 패턴을 사용했다.
실험에서 사용된 색상 카메라는 Basler사의 piA1900-32gc이고 해상도는 1920×1080이다. 하나의 카메라로부터 10장의 체스보드 패턴 영상을 촬영했고 한 장의 패턴 영상에 가로 5개, 세로 3개의 패턴을 사용했다. 따라서 한 장의 패턴 영상에 대해 24개이며 전체 영상에 대해서는 총 240개의 패턴 특징 점을 추출한다.

데이터처리

정확한 비교를 위해 본 논문의 실험에서는 모든 패턴 영상에 대해 손으로 직접 추출한 패턴 특징 점의 실제 좌표 (ground truth)와 제안하는 방법으로 획득한 패턴 특징 점의 좌표를 비교한다. 카메라 캘리브레이션에서 카메라 파라미 터의 정확성을 결정하는 부분은 캘리브레이션 패턴을 촬영 한 영상에서 얼마나 정확하게 패턴 특징 점의 화소 위치를 찾아내는가이다.

이론/모형

호모그래피 예측을 통해 손실된 점이 없는 완전한 패턴 특징 점은 얻을 수 있었지만 결과가 정확한 패턴 특징 점의 위치에서 약간 어긋나거나 정수 단위의 정확성을 가지게 되는 약점이 있다. 따라서 좀 더 정밀한 실수 단위의 정확성을 확보하기 위해 본 논문에서는 쌍곡포물면 근사 방법을 이용하여 정확성을 향상시킨다[6].
FAST (Features from Accelerated Segment Test) 특징 검출 알고리즘은 영상에서 특징 점을 검출하는데 사용되는 알고리즘으로서 재현성이 높고 속도가 빠른 장점이 있다[4]. 본 논문에서는 FAST 알고리즘을 이용하여 영상으로 부터 패턴 특징 점의 후보를 추출한다. FAST 특징 검출 알고리즘은 원점 Ip를 기준으로 반경이 3인 원주 상에 위치한 화소들의 값을 검사하여 연속한 n개의 화소들이 모두 상위 문턱치 값(Ip + t)보다 크거나, 모두 하위 문턱치 값(Ip - t)보다 작으면 특징 점으로 판단한다.
따라서 사각영역내의 모든 화소 위치에서 두 값의 제곱 차 합이 최소가 되는 계수 a, b, c, d, e, f를 찾는 것이 목적이다. 이 함수의 최적 해를 찾기 위해서는 비선형 최적화 방법인 Gauss-Newton 방법이나 Levenberg-Marquardt 방법을 이용하여 계수를 얻는다. 다음으로이 함수의 안장점의 위치를 찾아야하는데이는 쌍곡포물면 함수의 x에 대한 1계 도함수와 y에 대한 1계 도함수의 교점이 된다.

성능/효과

그림 8은 제안하는 방법으로 얻은 최종 결과를 나타내며 원으로 표시된 부분이 얻어진 패턴 특징 점이다. 그림 8에서 확인할 수 있듯이 카메라 캘리브레이션에 필요한 패턴 특징 점의 위치를 잘 찾아내는 것을 알 수 있고 좌상단의 빛의 포화 현상이 있는 부분에 대해서도 패턴 특징 점이 잘 획득된 것을 확인할 수 있다.
먼저 FAST 코너 검출 알고리즘을 이용하여 패턴 특징 점의 후보를 영상으로부터 추출하고 원형 샘플 화소 검사 단계를 통해 후보군의 크기를 줄인다. 다음으로 호모그래피 예측을 통해 손실된 패턴 특징 점을 보완하는 완전한 패턴 특징 점군을 획득하고 화소 정확성 향상을 통해 실수 단위의 정확성을 가지는 패턴 특징 점의 위치를 획득한다. 실험결과를 통해 패턴 특징 점의 실제 위치와 비교하여 그 차이가 매우 작은 것을 확인했고 기존의 방법의 약점인 손으로 직접 패턴 특징 점을 선택하는 불편함을 해소했다.
카메라 캘리브레이션에서 카메라 파라미 터의 정확성을 결정하는 부분은 캘리브레이션 패턴을 촬영 한 영상에서 얼마나 정확하게 패턴 특징 점의 화소 위치를 찾아내는가이다. 따라서 인간의 눈과 손을 이용하여 직접 추출한 패턴 특징 점의 좌표와 제안하는 알고리즘을 이용하 여 얻은 패턴 특징 점의 좌표를 비교하는 것이 카메라 파라 미터의 정확성을 판단하는데 있어 의미 있다고 할 수 있다. 표 1은 실제 패턴특징 점의 좌표와제안하는 방법으로 얻은 패턴 특징 점의 좌표 사이의 거리를 나타내고 있다.
본 논문에서는 카메라 파라미터를 획득하는 카메라 캘리브레이션에서 패턴 특징 점을 반자동으로 획득하는 방법을 제안했다. 먼저 FAST 코너 검출 알고리즘을 이용하여 패턴 특징 점의 후보를 영상으로부터 추출하고 원형 샘플 화소 검사 단계를 통해 후보군의 크기를 줄인다. 다음으로 호모그래피 예측을 통해 손실된 패턴 특징 점을 보완하는 완전한 패턴 특징 점군을 획득하고 화소 정확성 향상을 통해 실수 단위의 정확성을 가지는 패턴 특징 점의 위치를 획득한다.
실험결과를 통해 패턴 특징 점의 실제 위치와 비교하여 그 차이가 매우 작은 것을 확인했고 기존의 방법의 약점인 손으로 직접 패턴 특징 점을 선택하는 불편함을 해소했다. 실험 결과를 통해 제안하는 방법이 실제 패턴 특징 점의 위치와 비교하여 색상 영상에서는 평균 1.89 픽셀, 깊이 영상에서는 평균 0.76픽셀의 거리 차이가 나는 것을 확인하였다. 제안하는 방법을 이용하여 가상현실과 증강현실 시스템에서 카메라 캘리브레이션의 수고를 획기적으로 줄이게 할 것을 기대한다.
다음으로 호모그래피 예측을 통해 손실된 패턴 특징 점을 보완하는 완전한 패턴 특징 점군을 획득하고 화소 정확성 향상을 통해 실수 단위의 정확성을 가지는 패턴 특징 점의 위치를 획득한다. 실험결과를 통해 패턴 특징 점의 실제 위치와 비교하여 그 차이가 매우 작은 것을 확인했고 기존의 방법의 약점인 손으로 직접 패턴 특징 점을 선택하는 불편함을 해소했다. 실험 결과를 통해 제안하는 방법이 실제 패턴 특징 점의 위치와 비교하여 색상 영상에서는 평균 1.
전체적으로 평균 1.89 픽셀의 차이가 나는 것을 확인했 다. 이 수치는 영상의 해상도가 1920×1080인 것을 감안했 을 때 매우 근소한 차이인 것을 알 수 있다.

후속연구

76픽셀의 거리 차이가 나는 것을 확인하였다. 제안하는 방법을 이용하여 가상현실과 증강현실 시스템에서 카메라 캘리브레이션의 수고를 획기적으로 줄이게 할 것을 기대한다.

참고문헌 (6)

C. Fehn, "A 3D-TV approach using depth-image-based rendering (DIBR)," Proc. of 3rd IASTED Conference on Visualization, Imaging, and Image Processing, pp. 482-487, 2003.
Z. Zhang, "A Flexible New Technique for Camera Calibration," Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, 2000.

상세보기
D. Shin and Y. Ho, "Pattern Feature Detection for Camera Calibration using Circular Sample Pixel," Proc. of 2015 Korean Society of Broadcast Engineers Summer Conference, vol. 2015, no. 7, pp. 433-434, 2015.
E. Rosten and T. Drummond, "Machine learning for high-speed corner detection," Proc. of the 9th European conference on Computer Vision, Berlin, Heidelberg, vol. Part I, no. 34, pp. 430-443, 2006.
R. Hartley, A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge University Press, Cambridge, pp. 200-204, 2003.
L. Lucchese and S. K. Mitra, "Using saddle points for subpixel feature detection in camera calibration targets," Circuits and Systems, vol. 2, no 2, pp. 191-195, 2002.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증