[논문]마커 없는 증강현실을 위한 실시간 카메라 추적

오주현; 손광훈

doi:10.5909/jeb.2011.16.4.614

마커 없는 증강현실을 위한 실시간 카메라 추적
Real-Time Camera Tracking for Markerless Augmented Reality 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.16 no.4, 2011년, pp.614 - 623

초록
AI-Helper

본 논문에서는 방송용 증강현실 시스템을 위한 실시간 카메라 추적 알고리듬을 제안한다. SURF(speeded up robust features) 알고리듬을 이용하여 추적을 초기화하며, 안정적인 실시간 카메라 추적을 위해 다층(multi-scale) 구조를 사용한다. 미리 알려져 있지 않고 시간에 따라 변하는 조명 환경에서의 특징 추적을 위해 정규상호상관도(normalized cross correlation, NCC)를 사용한다. 방송제작에는 줌 렌즈를 장착한 카메라가 사용되기 때문에 카메라의 초점거리를 온라인으로 추정할 필요가 있다. 카메라의 회전과 이동으로 이루어진 외부 포즈(pose) 변수와 함께 내부 변수인 초점거리를 목적함수에 포함시켜 함께 최적화한다. 실험결과는 제안한 온라인 카메라 보정 기법에 의해 카메라의 초점거리가 정확히 구해지는 것을 보여준다.

Abstract ▼ AI-Helper

We propose a real-time tracking algorithm for an augmented reality (AR) system for TV broadcasting. The tracking is initialized by detecting the object with the SURF algorithm. A multi-scale approach is used for the stable real-time camera tracking. Normalized cross correlation (NCC) is used to find the patch correspondences, to cope with the unknown and changing lighting condition. Since a zooming camera is used, the focal length should be estimated online. Experimental results show that the focal length of the camera is properly estimated with the proposed online calibration procedure.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

알려져 있지 않은 조명 환경에서의 특징 정합을 위해 정규상호상관도를 사용하였다. 대부분 데스크톱 웹캠 환경을 가정하고 있는 기존 증강현실 카메라 추적 연구들과 달리 본 논문에서는 줌 카메라에의 적용을 위해 온라인 카메라 보정 방법을 제안하였다. 실험 결과는 제안된 온라인 보정 방법에 의해 카메라의 초점거리가 정확하게 추정되는 것을 보여주었으며, 모든 과정이 실시간으로 처리 가능함을 확인하였다.
그러나 이 방법은 가상 스튜디오와 같이 추적할 장면이 고정일 때만 사용할 수 있으며, 패턴이 움직이는 증강현실 응용에는 적합하지 않다. 따라서 본 논문에서는 영상 추적에 의해 카메라를 실시간으로 보정한다. 이와 같은 온라인 카메라 보정의 초기화를 위해 카메라를 우선 오프라인에서 보정할 필요가 있는데, 여기서는 잘 알려진 Zhang의 기법^[20]을 사용한다.
본 논문에서는 실시간으로 동작하고 자동 초기화를 지원하는 Wagner 등의 연구^[13,14]를 바탕으로, 온라인 보정을 더하여 줌렌즈가 장착된 카메라에도 적용할 수 있는 알고리듬을 제안한다. 본 논문의 남은 부분은 다음과 같이 구성된다.
이 절에서 기술된 방법은 카메라 초점거리의 좋은 초기 추정치를 얻기 위한 것이다. 한 번 추적이 초기화되면 초점거리는 다른 외부 변수들과 함께 매 프레임마다 추정된다.

가설 설정

높은 정밀도를 요구하지 않는 증강현실 응용과 방송용의 고품질 카메라를 감안하면 skew s = 0, aspect ratio a = 1로 가정할 수 있다. 주점(principal point)의 위치(c_x,c_y)는 이미지의 중심점으로 가정한다.

제안 방법

기존의 인위적인 마커를 사용하지 않아 방송용 증강현실 제작에 적합한 카메라 추적 알고리듬을 제안하였다. SURF를 이용하여 객체를 검출함으로써 카메라 추적을 초기화하고, 다층 구조를 사용하여 안정적인 실시간 카메라 추적이 가능하게 하였다. 알려져 있지 않은 조명 환경에서의 특징 정합을 위해 정규상호상관도를 사용하였다.
은 16개의 CPU 코어를 사용하여 실시간 카메라 추적 시스템을 구현하였다. 그러나 본 논문에서는 실제 사용의 편의성을 위해 일반 PC만을 목표 플랫폼으로 다루기로 한다.
그림 6의 실험에서 카메라 보정의 결과를 비교하기 위해 RANSAC을 이용해 추정한 호모그래피로 패턴의 네 모서리를 변환하였다. 카메라 초점거리가 정확하다면 객체 모델의 네 모서리를 연결한 사각형은 호모그래피로 변환된 사각형과 일치해야 할 것이다.
기존의 인위적인 마커를 사용하지 않아 방송용 증강현실 제작에 적합한 카메라 추적 알고리듬을 제안하였다. SURF를 이용하여 객체를 검출함으로써 카메라 추적을 초기화하고, 다층 구조를 사용하여 안정적인 실시간 카메라 추적이 가능하게 하였다.
더 심각한 문제는 사용자가 객체를 움직임으로써 객체의 광원에 대한 방향(orientation)이 매 프레임마다 달라지므로 패턴의 밝기가 계속 변하는 것이다. 본 논문에서는 다음과 같은 정규 상호상관도(normalized cross correlation, NCC)를 사용하여 이러한 문제를 극복하였다.
SURF를 이용하여 객체를 검출함으로써 카메라 추적을 초기화하고, 다층 구조를 사용하여 안정적인 실시간 카메라 추적이 가능하게 하였다. 알려져 있지 않은 조명 환경에서의 특징 정합을 위해 정규상호상관도를 사용하였다. 대부분 데스크톱 웹캠 환경을 가정하고 있는 기존 증강현실 카메라 추적 연구들과 달리 본 논문에서는 줌 카메라에의 적용을 위해 온라인 카메라 보정 방법을 제안하였다.
은 ‘검출에 의한 추적’이나 호모그래피 연쇄(homography chaining)가 개별적으로 이루어질 경우 발생할 수 있는 떨림(jitter)이나 떠다님(drift)을 막기 위해, 온라인과 오프라인 정보를 모두 사용하였다. 이 연구에서는 이전 한 프레임 뿐 아니라 모든 이전 프레임들을 고려하며, 특히 현재의 포즈(pose)와 가까운 포즈를 가진 프레임들을 사용한다. 이는 별도의 ‘키프레임’ 들의 선택과 관리를 필요로 한다.
카메라 추적이 아직 초기화되지 않았거나 이전 프레임에서 추적을 놓친 경우 객체를 인식하는 과정이 필요하다. 이를 위해 입력 영상에서 특징점들을 추출한 후 객체 모델의 특징점과 정합한다. 객체 모델 이미지를 입력 영상으로 변환하기 위한 호모그래피 H를 RANSAC^[23]을 이용하여 계산한다.
제안된 알고리듬은 기존 Wagner 등^[13,14]의 연구와 같이 실시간으로 드리프트 없는 카메라 포즈를 추적하는 데 성공하였다. 그림 6은 기존 연구에 의한 결과와 제안된 온라인 카메라 보정 결과를 적용한 결과의 차이를 보여준다.

대상 데이터

이렇게 정렬된 리스트에서 순위가 특정 상수 값을 넘어가는 원소들은 삭제함으로써 실시간 추적 성능을 유지하도록 한다. 본 논문에서는 상위 50개의 특징을 사용하였다.

이론/모형

카메라 추적의 초기화는 객체에 대한 카메라의 포즈 추정을 의미하며, 이를 위해서는 우선 영상으로부터 객체를 검출해야 한다. 객체 검출에는 SIFT^[15], ferns^[11], SURF^[17] 등 다양한 방법들이 제안되었으나, 본 논문에서는 상대적으로 속도가 빠르고 구현이 용이한 SURF를 사용하였다. 그림 3은 SURF 알고리듬을 이용하여 객체를 검출한 결과이다.
이를 위해 입력 영상에서 특징점들을 추출한 후 객체 모델의 특징점과 정합한다. 객체 모델 이미지를 입력 영상으로 변환하기 위한 호모그래피 H를 RANSAC^[23]을 이용하여 계산한다. 그런 다음 카메라 포즈 r, t와 초점거리 f를 (10)을 이용하여 추정한다.
카메라의 외부변수만 구하는 기존 연구들^[13,14]과 달리, 카메라의 초점거리를 포함하여 구해야 할 변수가 7개이므로 이론적으로 4개 이상의 특징점이 필요하다. 본 논문에서는 Levenberg-Marquardt 비선형 최소제곱법 최적화(nonlinear least squares optimization) 방법^[22]으로 r, t, f 등의 카메라 변수를 구한다. 최적화할 변수 집합과 목적 함수는 다음과 같다.
본 논문에서는 그림과 같이 변형된 Geman-McClure 함수 ρ(x) = (0.1x)2/[1+(0.1x)2]를 사용하였다.
이러한 변환을 통해 와핑된 객체 이미지 패치는 실제 입력 영상과 정합 가능한 정도로 유사해지게 된다. 본 논문에서는 기존 연구^[13,14]에서 사용되는 어파인 근사(affine approximation) 대신 완전한 투영변환(full perspective transformation)을 사용한다. 하드웨어의 발전으로 실시간 구현에 문제가 없기 때문이다.
따라서 본 논문에서는 영상 추적에 의해 카메라를 실시간으로 보정한다. 이와 같은 온라인 카메라 보정의 초기화를 위해 카메라를 우선 오프라인에서 보정할 필요가 있는데, 여기서는 잘 알려진 Zhang의 기법^[20]을 사용한다.

성능/효과

은 3차원 모델이 주어졌을 때 영상에서 해당 모델을 추적하는 방법을 제안하였다. 3차원 모델의 선(lines)을 샘플링하고, 이미지의 경계(edge)까지의 거리를 최소화함으로써 복잡한 3차원 구조물을 추적할 수 있었다. 이 방법은 목표를 실시간으로 추적할 수 있지만 그 추적 목표(target)는 강체로 이루어진 다면체 구조물로 제한된다는 단점이 있다.
카메라를 보정하지 않은 기존 방법의 경우 그림 6(a)와 같이 두 사각형 사이에 큰 불일치가 있었다. 또한 파란 색으로 표시된, 객체 모델의 특징점으로부터 대응점까지의 거리를 나타내는 잔여 오류(residual error)가 최소화되지 못하고 남아있는 것을 확인할 수 있다. 온라인 카메라 보정이 적용된 그림 6(b)에서는 두 사각형이 거의 일치하며, 잔여 오류 또한 매우 작아서 그림에 나타나지 않음을 알 수 있다.
대부분 데스크톱 웹캠 환경을 가정하고 있는 기존 증강현실 카메라 추적 연구들과 달리 본 논문에서는 줌 카메라에의 적용을 위해 온라인 카메라 보정 방법을 제안하였다. 실험 결과는 제안된 온라인 보정 방법에 의해 카메라의 초점거리가 정확하게 추정되는 것을 보여주었으며, 모든 과정이 실시간으로 처리 가능함을 확인하였다. 그러나 패턴이 카메라의 광축에 수직인 경우와 같이 초점거리의 변화와 패턴의 이동을 구분할 수 없는 경우가 발생할 수 있으므로 (degenerate case), 이러한 경우 알고리듬의 보완이 필요할 것으로 보인다.
제안된 알고리듬은 일반적인 펜티엄4 PC 환경에서 640×480 크기의 영상에 대해 약 38.7 Hz로 동작하였다.

후속연구

향후 HD (high definition) 영상의 추적을 위해 추적속도를 개선하고, 안정적인 추적을 위해 에지 정보를 추가로 결합하는 연구를 수행할 계획이다. 또한 영상 정보 외에도 최근 급격히 대중화되고 있는 깊이 센서 정보를 함께 이용한 시스템을 개발할 계획이다.
이 결과는 실시간이긴 하지만 모바일 기기에서도 실시간 동작하는 Wagner 등의 구현에 비해서는 상대적으로 느린 것이다. 표 1에서 알 수 있듯이 현재의 구현에서는 투영변환에 많은 시간이 소요되고 있는데, 향후 OpenGL 등을 이용하여 GPU에서 처리함으로써 상당한 개선이 가능할 것으로 보인다.
현재로서는 잔여 오류가 큰 경우에만 온라인 카메라 보정을 수행하는 방법이 유효하나, 영상의 광류(optical flow)를 분석하여 카메라의 줌 동작을 인식하는 것이 보다 근본적인 해결책이 될 것이다. 향후 HD (high definition) 영상의 추적을 위해 추적속도를 개선하고, 안정적인 추적을 위해 에지 정보를 추가로 결합하는 연구를 수행할 계획이다. 또한 영상 정보 외에도 최근 급격히 대중화되고 있는 깊이 센서 정보를 함께 이용한 시스템을 개발할 계획이다.
그러나 패턴이 카메라의 광축에 수직인 경우와 같이 초점거리의 변화와 패턴의 이동을 구분할 수 없는 경우가 발생할 수 있으므로 (degenerate case), 이러한 경우 알고리듬의 보완이 필요할 것으로 보인다. 현재로서는 잔여 오류가 큰 경우에만 온라인 카메라 보정을 수행하는 방법이 유효하나, 영상의 광류(optical flow)를 분석하여 카메라의 줌 동작을 인식하는 것이 보다 근본적인 해결책이 될 것이다. 향후 HD (high definition) 영상의 추적을 위해 추적속도를 개선하고, 안정적인 추적을 위해 에지 정보를 추가로 결합하는 연구를 수행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	비디오 영상에서 객체모델인식과 카메라 추적을 하는 것은 어떤 분야의 기술에 핵심이 되는가?	비디오 영상에서 주어진 객체 모델을 인식하고 그로부터 카메라를 추적하는 것은 증강현실(augmented reality, AR)과 HCI(human computer interaction), 로봇 제어(visual servoing) 등과 같은 다양한 컴퓨터 비전 응용분야에 있어서 핵심적인 기술이다. 이러한 카메라 추적을 위해 다양한 방법들이 제안되었으며, Lepetit 등의 문헌조사[1]를 통해 그 개략적인 내용을 확인할 수 있다.
	택스처가 있는 평면 패턴을 추적하기 위한 방법에는 어떤 문제점이 있는가?	택스처가 있는 평면 패턴을 추적하기 위해 쉽게 도입할 수 있는 방법은 각 프레임 간의 호모그래피(homography 또는 perspective transform)를 구한 후 누적하는 방법이다[4]. 그러나 이 방법은 매 프레임마다 호모그래피를 추정하면서 발생한 작은 에러가 누적되어 점차 커짐으로 인해 결과적으로 패턴이 떠다니게(drifting) 되는 문제가 있다. 그림 2(a)와 그림 2(b) 사이의 특징점 정합은 정확하게 이루어지고 있으나, 수백 프레임 간 누적된 호모그래피를 이용한 모델 이미지의 변환은 그림 2(c)와 같이 실제 입력 영상에 비해 상당한 오차를 보이는 것을 알 수 있다.
	방송 제작에 증강현실을 적용한 예로 어떤 것들이 있는가?	방송 제작에 증강현실을 적용한 예로 Park 등[2]은 16개의 원형 마커가 인쇄된 파란색 패턴을 사용하여 검출에 의한 추적(tracking by detection)을 구현한 바 있다. 이 K-vision 시스템은 당시의 PC 하드웨어에서 실시간 동작하는 성능으로 여러 방송 프로그램 제작에 성공적으로 사용되었다.

참고문헌 (23)

V. Lepetit and P. Fua, Monocular Model-based 3D Tracking of Rigid Objects, Now Publishers Inc, 2005.
박성 춘, 남승진, 오주현, 박창섭, "색상패턴 추적을 이용한 실시간 증강영상 시스템," 방송공학회논문지 제7권 제1호, pp.2-9, 2002년 3월.

원문보기 상세보기
T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, pp.932-946, Jul. 2002.

상세보기
G. Simon, A. Fitzgibbon, and A. Zisserman, "Markerless tracking using planar structures in the scene," Int. Symposium on Augmented Reality (ISAR), pp.120-128, Oct. 2000.
L. Vacchetti, V. Lepetit, and P. Fua, "Stable Real-Time 3D Tracking Using Online and Offline Information," IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(10), pp.1385-1391, 2004.

상세보기
Q. Wang, W. W. Zhang, X. O. Tang, and H. Y. Shum, "Real-time Bayesian 3-D pose tracking," IEEE Transactions on Circuits and Systems for Video Technology, vol.16, pp.1533-1541, Dec. 2006.

상세보기
A. I. Comport, E. Marchand, M. Pressigout, and F. Chaumette, "Real-time markerless tracking for augmented reality: The virtual visual servoing framework," IEEE Transactions on Visualization and Computer Graphics, vol.12, pp.615-628, 2006.

상세보기
M. Pressigout and E. Marchand, "Real-time hybrid tracking using edge and texture information," International Journal of Robotics Research, vol.26, pp.689-713, Jul. 2007.

상세보기
"Total Immersion: Augmented reality software solutions with D'Fusion," http://www.t-immersion.com/, 2010.
V. Lepetit and P. Fua, "Keypoint recognition using randomized trees," IEEE Transactions on Patteren Analysis and Machine Intelligence, 28(9), pp.1465-1479, 2006.

상세보기
M. Ozuysal, P. Fua, and V. Lepetit, "Fast keypoint recognition in ten lines of code," in IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.
Z. Chen and X. Li, "Markerless tracking based on natural feature for autmented reality," Int. Conf. on Educational and Information Technology (ICEIT), Sep. 2010.
D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, and D. Schmalstieg, "Pose tracking from natural features on mobile phones," Int. Symposium on Mixed and Augmented Reality, pp.125-134, 2008.
D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, and D. Schmalstieg, "Real-Time Detection and Tracking for Augmented Reality on Mobile Phones," IEEE Transactions on Visualization and Computer Graphics, vol.16, pp.355-368, May-Jun. 2010.

상세보기
D. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, vol.60, pp.91-110, 2004.

상세보기
J. Yu, J. Kim, H. Kim, I. Choi, and I. Jeong, "Real-time camera tracking for augmented reality," Int. Conf. on Advanced Communication Technology (ICACT), Feb. 2009.
H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, "Speeded-Up Robust Features (SURF)," Computer Vision and Image Understanding, vol.110, pp.346-359, Jun. 2008.

상세보기
J. Oh and K. Sohn, "Semiautomatic zoom lens calibration based on the camera's rotation," SPIE Journal of Electronic Imaging, 20(2), Apr-Jun. 2011.
W. Liu, Y. Wang, J. Chen, and J. Guo, "An efficient zoom tracking method for pan-tilit-zoom camera," IEEE Int. Conf. on Computer Science and Information Technology (ICCSIT), pp.536-540, Jul. 2010.
Z. Y. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, pp.1330-1334, Nov. 2000.

상세보기
R. Hartley and A. Zisserman, Multiple view geometry in computer vision, Cambridge University Press, 2003.
M. Lourakis, "A brief description of the Levenberg-Marquardt algorithm implemented by levmar," matrix, 3(2), 2005.
M. Fischler and R. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, vol.24, pp.381-395, 1981.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증