과거 값비싼 워크스테이션에서만 구현 가능했던 실시간 가상스튜디오를 이제는 하드웨어의 발달로 개인용 컴퓨터에서도 운용할 수 있게 되었다. 그럼에도 불구하고 여전히 실시간 제작의 그래픽 품질에는 한계가 있기 때문에 영화나 드라마에서는 후반 제작(post production)으로 그래픽을 합성하는 것이 일반적이다. 그러나 후반 제작을 위한 순수 영상 기반 카메라 추적은 많은 작업 시간을 요하며, 자주 불안정한 결과를 보인다. 이를 극복하기 위해 가상스튜디오와 마찬가지로 촬영 단계에서 카메라 모션 데이터를 센서로부터 수신하되, 이를 저장하여 후반제작에서 활용할 수 있는 시스템(POVIS: post virtual imaging system)을 제안하였다. 실사와 그래픽의 매끄러운 정합을 위해서는 정확한 카메라 캘리브레이션이 선행되어야 하는데, 이를 위해 두 장의 평면 패턴만을 이용하여 간단하게 수행할 수 있는 캘리브레이션 방법을 사용하였다. 또한 카메라 센서 데이터는 기계적 부정합 등으로 인해 약간의 오류를 포함하게 되는데, Kalman 필터를 이용하여 이를 줄이는 방법을 제안하였다. 개발된 POVIS는 다큐멘터리 제작에 사용되어 작업 시간을 크게 단축시키고, 특징점의 부재로 인해 기존의 방법을 적용할 수 없는 영상에서의 카메라 추적을 성공적으로 수행하였다.
과거 값비싼 워크스테이션에서만 구현 가능했던 실시간 가상스튜디오를 이제는 하드웨어의 발달로 개인용 컴퓨터에서도 운용할 수 있게 되었다. 그럼에도 불구하고 여전히 실시간 제작의 그래픽 품질에는 한계가 있기 때문에 영화나 드라마에서는 후반 제작(post production)으로 그래픽을 합성하는 것이 일반적이다. 그러나 후반 제작을 위한 순수 영상 기반 카메라 추적은 많은 작업 시간을 요하며, 자주 불안정한 결과를 보인다. 이를 극복하기 위해 가상스튜디오와 마찬가지로 촬영 단계에서 카메라 모션 데이터를 센서로부터 수신하되, 이를 저장하여 후반제작에서 활용할 수 있는 시스템(POVIS: post virtual imaging system)을 제안하였다. 실사와 그래픽의 매끄러운 정합을 위해서는 정확한 카메라 캘리브레이션이 선행되어야 하는데, 이를 위해 두 장의 평면 패턴만을 이용하여 간단하게 수행할 수 있는 캘리브레이션 방법을 사용하였다. 또한 카메라 센서 데이터는 기계적 부정합 등으로 인해 약간의 오류를 포함하게 되는데, Kalman 필터를 이용하여 이를 줄이는 방법을 제안하였다. 개발된 POVIS는 다큐멘터리 제작에 사용되어 작업 시간을 크게 단축시키고, 특징점의 부재로 인해 기존의 방법을 적용할 수 없는 영상에서의 카메라 추적을 성공적으로 수행하였다.
Real-time virtual studios which could run only on expensive workstations are now available for personal computers thanks to the recent development of graphics hardware. Nevertheless, graphics are rendered off-line in the post production stage in film or TV drama productions, because the graphics' qu...
Real-time virtual studios which could run only on expensive workstations are now available for personal computers thanks to the recent development of graphics hardware. Nevertheless, graphics are rendered off-line in the post production stage in film or TV drama productions, because the graphics' quality is still restricted by the real-time hardware. Software-based camera tracking methods taking only the source video into account take much computation time, and often shows unstable results. To overcome this restriction, we propose a system that stores camera motion data from sensors at shooting time as common virtual studios and uses them in the post production stage, named as POVIS(post virtual imaging system). For seamless registration of graphics onto the camera video, precise zoom lens calibration must precede the post production. A practical method using only two planar patterns is used in this work. We present a method to reduce the camera sensor's error due to the mechanical mismatch, using the Kalman filter. POVIS was successfully used to track the camera in a documentary production and saved much of the processing time, while conventional methods failed due to lack of features to track.
Real-time virtual studios which could run only on expensive workstations are now available for personal computers thanks to the recent development of graphics hardware. Nevertheless, graphics are rendered off-line in the post production stage in film or TV drama productions, because the graphics' quality is still restricted by the real-time hardware. Software-based camera tracking methods taking only the source video into account take much computation time, and often shows unstable results. To overcome this restriction, we propose a system that stores camera motion data from sensors at shooting time as common virtual studios and uses them in the post production stage, named as POVIS(post virtual imaging system). For seamless registration of graphics onto the camera video, precise zoom lens calibration must precede the post production. A practical method using only two planar patterns is used in this work. We present a method to reduce the camera sensor's error due to the mechanical mismatch, using the Kalman filter. POVIS was successfully used to track the camera in a documentary production and saved much of the processing time, while conventional methods failed due to lack of features to track.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 사극과 다큐멘터리 등의 제작에 있어서 안정적인 카메라 추적과 동시에 고품질의 그래픽 렌더링이 가능한 방법을 제안하였다. 제안된 방법은 실시간 가상스튜디오에 사용되는 카메라 센서 데이터를 저장하여 후반 제작에 사용할 수 있게 하는 시스템(POVIS)이다.
그에 비해 실시간 카메라 추적은 촬영될 장면에 따른 제약 없이 강인한 추적 결과를 얻을 수 있으나 그 응용은 가상 스튜디오와 같은 실시간 제작에만 한정되어 있었다. 본 연구는 하드웨어 센서를 이용한 실시간 카메라 추적을 후반 제작에도 적용하기 위한 것으로서, 안정되고 정확한 카메라 추적 성능과 후반 제작에 의한 높은 그래픽 품질을 동시에 얻을 수 있게 한다. 그림 2는 POVIS의 전체 시스템 구성도와 데이터의 흐름을 보여준다.
가설 설정
렌즈에는 단순히 선형적으로 모델링할 수 없는 왜곡이 존재하는데[11], 왜곡 중심으로부터 (왜곡 없이) projection된 점까지의 거리(radial distance)를 r이라 할 때 다음의 radial lens distortion 모델[12]을 사용한다. 왜곡 중심은 주점과 동일하다고 가정한다.
측정 노이즈도 zero mean과 표준편차 σz의 정규분포를 가진다고 가정한다.
제안 방법
3장에서 보정된 카메라 데이터를 최종적으로 렌더링이 가능한 3차원 저작 소프트웨어에 불러들이기 위하여, Autodesk Maya[15] 용 플러그인을 개발하였다. 플러그인은 파일로 저장된 카메라 데이터를 Maya의 그래픽 카메라 애니메이션에 적용한다.
본 논문에서는 전체 N개 중 n번째 패턴의 포즈를 (rn ,tn) 라할 때 줄자 등을 이용해 대략적으로 측정한 초기 포즈 (# ,#)와 실제 포즈의 차이(r̃n ,t̃n)를 미지수로 간주하여 다른 파라미터들과 함께 추정한다. [8]에서는 모든 줌 영역에서 패턴의 포즈를 추정하였으나 본 논문에서는 최대 줌-아웃 설정에서만 패턴의 포즈를 추정함으로써 알고리듬을 단순화하고 수렴성을 높였다. 다음과 같이 재투영 오류(reprojection error)를 최소화하는 파라미터 집합 p =[f,t,κ1 ,r̃1 ,t̃1 ,r̃2 ,t̃2]T를 Levenberg-Marquardt 방법[9]으로 구한다.
캘리브레이션 후 빨간 색의 패턴 코너들이 정확한 위치에 표시되며, 초록색의 참조점들 또한 실제 구조물(벽면) 이미지 위에 정확히 겹쳐지는 것을 알 수 있다. 구조물의 위치는 줄자 등으로 측정한 다음 수동으로 조정하였다.
카메라 센서에서 주어지는 모터의 회전 값을 의미 있는 카메라 데이터로 변환할 수 있도록 줌렌즈 캘리브레이션을 수행하였다. 또한 카메라 센서 데이터에서 발생할 수 있는 기계적 떨림을 Kalman 필터에 의해 제거하는 방법을 제안하였다. 이와 같이 제안된 방법들을 이용하여 정확하게 추정된 카메라 데이터를 그래픽 소프트웨어에 불러들여 가상카메라 애니메이션에 적용할 수 있도록 플러그인을 개발하였다.
이때 설치된 패턴들의 위치와 회전, 즉 포즈(pose)를 정확하게 측정하는 것은 매우 어려운 일이다. 본 논문에서는 전체 N개 중 n번째 패턴의 포즈를 (rn ,tn) 라할 때 줄자 등을 이용해 대략적으로 측정한 초기 포즈 (# ,#)와 실제 포즈의 차이(r̃n ,t̃n)를 미지수로 간주하여 다른 파라미터들과 함께 추정한다. [8]에서는 모든 줌 영역에서 패턴의 포즈를 추정하였으나 본 논문에서는 최대 줌-아웃 설정에서만 패턴의 포즈를 추정함으로써 알고리듬을 단순화하고 수렴성을 높였다.
줌렌즈 캘리브레이션은 본 논문에서 제안된 후반 제작을 위한 시스템 뿐 아니라 일반 가상스튜디오 제작에서도 필수적으로 요구되는 작업이며, 대다수의 제작 현장에서 많은 작업 시간을 들여 수동으로 수행하고 있다. 본 연구에서는 복잡한 하드웨어나 3차원 캘리브레이션 오브젝트를 사용하거나 여러 번 패턴을 이동하지 않고도[6,7], 빠른 시간 내에 정확한 캘리브레이션을 수행하기 위하여[8]에서 제안된 방법을 단순화하여 사용한다. 그림 3은 줌렌즈 캘리브레이션을 위한 카메라와 패턴 모델이다.
센서 데이터의 잡음(noise)은 특히 크레인 카메라의 경우 두드러지는데, 긴 크레인 암(crane arm)에 의한 무게와 진동 등이 그 원인인 것으로 보인다. 여기서는 센서 데이터의 잡음을 간단한 Kalman 필터[14]를 이용해 효율적으로 필터링하는 방법을 제안한다. Kalman 필터는 Median 필터 등에 비해 버퍼링 없이 실시간으로 처리가 가능하다는 장점이 있으며, 카메라 헤드는 뉴턴의 운동법칙에 의해 그 움직임을 제한하는 것이 매우 타당하다고 할 수 있다.
또한 카메라 센서 데이터에서 발생할 수 있는 기계적 떨림을 Kalman 필터에 의해 제거하는 방법을 제안하였다. 이와 같이 제안된 방법들을 이용하여 정확하게 추정된 카메라 데이터를 그래픽 소프트웨어에 불러들여 가상카메라 애니메이션에 적용할 수 있도록 플러그인을 개발하였다. 본 논문에서 제안된 POVIS는 실제 다큐멘터리 프로그램 제작에 사용되어 작업 시간을 크게 단축할 수 있었다.
정확한 합성을 위해서는 2장의 렌즈 캘리브레이션 과정을 통해 알아낸 렌즈 왜곡계수(κ1)를 그래픽 렌더링에 반영해야 하는데, Maya의 카메라에는 렌즈 왜곡 항목이 없으므로 Mental Ray 렌더러[15]를 위한 셰이더(shader)를 작성 하였다.
본 논문에서는 사극과 다큐멘터리 등의 제작에 있어서 안정적인 카메라 추적과 동시에 고품질의 그래픽 렌더링이 가능한 방법을 제안하였다. 제안된 방법은 실시간 가상스튜디오에 사용되는 카메라 센서 데이터를 저장하여 후반 제작에 사용할 수 있게 하는 시스템(POVIS)이다. POVIS 는 크게 줌렌즈 캘리브레이션, 센서 데이터 필터링, 그래픽 소프트웨어를 위한 플러그인의 세 부분으로 구성된다.
카메라 렌즈의 줌과 포커스 가동 범위를 0∼1의 값으로 정규화했을 때, 줌과 포커스 모두 0∼0.5의 영역에 대해 캘리브레이션을 수행하였다.
POVIS 는 크게 줌렌즈 캘리브레이션, 센서 데이터 필터링, 그래픽 소프트웨어를 위한 플러그인의 세 부분으로 구성된다. 카메라 센서에서 주어지는 모터의 회전 값을 의미 있는 카메라 데이터로 변환할 수 있도록 줌렌즈 캘리브레이션을 수행하였다. 또한 카메라 센서 데이터에서 발생할 수 있는 기계적 떨림을 Kalman 필터에 의해 제거하는 방법을 제안하였다.
대상 데이터
제안된 시스템을 다큐멘터리 ‘누들로드’ 제작에 사용하고 결과를 분석하였다. 촬영을 위해서 Ikegami의 HDL 40카메라와 Fujinon의 HA18x7.6 표준렌즈 및 HA13x4.5 광각렌즈, 그리고 Shotoku의 리모트 컨트롤 가능한 크레인이 사용되었다.
데이터처리
제안된 시스템을 다큐멘터리 ‘누들로드’ 제작에 사용하고 결과를 분석하였다.
이론/모형
다음과 같이 재투영 오류(reprojection error)를 최소화하는 파라미터 집합 p =[f,t,κ1 ,r̃1 ,t̃1 ,r̃2 ,t̃2]T를 Levenberg-Marquardt 방법[9]으로 구한다.
영상에서 주점(principal point)의 위치 (cx,cy)는 줌 동작에 의한 집중선이 만나는 점으로 가정하여[10] 최소자승법(least squares)으로 구할 수 있다. 렌즈에는 단순히 선형적으로 모델링할 수 없는 왜곡이 존재하는데[11], 왜곡 중심으로부터 (왜곡 없이) projection된 점까지의 거리(radial distance)를 r이라 할 때 다음의 radial lens distortion 모델[12]을 사용한다. 왜곡 중심은 주점과 동일하다고 가정한다.
성능/효과
두 가지 제작 방식 중 소프트웨어 기반 후반 제작은 촬영된 영상만을 분석하여 카메라 모션의 복원이 가능하다는 장점이 있다. 그러나 촬영할 장면에 정적(static)이면서 추적이 가능한 특징점들(feature points)이 충분히 존재해야 한다는 제약이 있고, 매우 많은 계산 시간이 걸리며, 알고리듬의 한계로 인해 추적에 실패하는 경우가 많다는 단점이 있다.
따라서 본 논문에서는 xd가주어졌을 때 반복법(iteration)에 의해 역변환된 xu를 구하며, 3∼4 번의 반복으로 충분히 수렴하는 것을 확인하였다.
이와 같이 제안된 방법들을 이용하여 정확하게 추정된 카메라 데이터를 그래픽 소프트웨어에 불러들여 가상카메라 애니메이션에 적용할 수 있도록 플러그인을 개발하였다. 본 논문에서 제안된 POVIS는 실제 다큐멘터리 프로그램 제작에 사용되어 작업 시간을 크게 단축할 수 있었다. 블루 스크린 환경에서 촬영된 영상이 주어졌을 때 상용 소프트웨어에서는 특징점의 부족으로 카메라 추적에 실패한 반면, POVIS는 영상과 무관하게 정확한 카메라 추적 및 그래픽 합성 결과를 얻을 수 있었다.
본 논문에서 제안된 POVIS는 실제 다큐멘터리 프로그램 제작에 사용되어 작업 시간을 크게 단축할 수 있었다. 블루 스크린 환경에서 촬영된 영상이 주어졌을 때 상용 소프트웨어에서는 특징점의 부족으로 카메라 추적에 실패한 반면, POVIS는 영상과 무관하게 정확한 카메라 추적 및 그래픽 합성 결과를 얻을 수 있었다. 향후 줌렌즈 캘리브레이션의 정확성을 더 높이고, 소프트웨어 기반 카메라 추적 방식과의 결합을 통해 편의성을 증대시키고 사용 범위를 넓히는 연구를 수행할 계획이다.
8)의 값을 얻었다. 패턴 포인트들의 평균 재투영 에러는 1.29 픽셀로 나타났으며, 별도의 하드웨어 장치나 3차원 캘리브레이션 객체를 사용하지 않고도 충분히 정확한 캘리브레이션 결과를 얻었음을 알 수 있다. 캘리브레이션 대상인 줌-포커스 영역의 외부를 사용하거나, 알고리듬에 의한 캘리브레이션 결과가 만족스럽지 않은 경우에는 수동으로 그래프를 보정하여 사용할 수 있다.
회전을 이용한 캘리브레이션 방법이므로, 회전센서가 내장된 팬/틸트 헤드를 사용한다. 한 가지 유의할 사항은 그림 3에 나타난 카메라 모델의 사용은 렌즈 캘리브레이션에만 국한되며, 5장의 실험결과에서알 수 있듯이 제안된 POVIS는 크레인 카메라 등 여러 가지카메라 형태에 사용 가능하다는 점이다.
후속연구
블루 스크린 환경에서 촬영된 영상이 주어졌을 때 상용 소프트웨어에서는 특징점의 부족으로 카메라 추적에 실패한 반면, POVIS는 영상과 무관하게 정확한 카메라 추적 및 그래픽 합성 결과를 얻을 수 있었다. 향후 줌렌즈 캘리브레이션의 정확성을 더 높이고, 소프트웨어 기반 카메라 추적 방식과의 결합을 통해 편의성을 증대시키고 사용 범위를 넓히는 연구를 수행할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
실시간 카메라 추적 시스템은 어떤 장점이 있나?
가상 스튜디오[1]나 가상 이미징[2] 시스템과 같은 실시간 제작에서는 카메라에 부착된 센서를 이용하여 카메라를 실시간으로 추적하여 그래픽 렌더링 시스템에 반영한다. 실시간 카메라 추적 시스템은 하드웨어 센서 장치가 필요한 대신, 실시간으로 정확한 추적이 가능하다는 장점이 있다. 이에 반해 후반 제작에서는 별도의 하드웨어 장치 없이 촬영한 후 영상만을 분석하여 카메라를 추적하며, 이러한 목적의 상용 소프트웨어에는 Boujou[3]와 PFTrack[4] 등이 있다.
소프트웨어 기반 후반 제작의 단점은?
두 가지 제작 방식 중 소프트웨어 기반 후반 제작은 촬영된 영상만을 분석하여 카메라 모션의 복원이 가능하다는 장점이 있다. 그러나 촬영할 장면에 정적(static)이면서 추적이 가능한 특징점들(feature points)이 충분히 존재해야 한다는 제약이 있고, 매우 많은 계산 시간이 걸리며, 알고리듬의 한계로 인해 추적에 실패하는 경우가 많다는 단점이 있다.
그래픽 합성 작업은 어떻게 나눌 수 있나?
이러한 CG 작업의 대부분은 실사와 그래픽 영상의 합성이며, 그래픽 영상을 생성하기 위해서는 실사 영상 촬영 시 사용된 카메라 모션 데이터가 필요하다. 이와 같은 그래픽 합성 작업은 크게 실시간 제작(live production)과 후반 제작(post production)의 두 가지 범주로 나눌 수 있다. 가상 스튜디오[1]나 가상 이미징[2] 시스템과 같은 실시간 제작에서는 카메라에 부착된 센서를 이용하여 카메라를 실시간으로 추적하여 그래픽 렌더링 시스템에 반영한다.
참고문헌 (18)
S. Gibbs, C. Arapis, C. Breiteneder, V. Lalioti, S. Mostafawy, and J. Speier, 'Virtual studios: An overview,' IEEE Multimedia, 5(1), pp.18-35, 1998
Y. Chen, S. Shih, Y. Hung, and C. Fuh, 'Simple and efficient method of calibrating a motorized zoom lens,' Image and Vision Computing, pp.1099-1110, 2001
R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge Univ Press, 2003
E. Hemayed, 'A survey of camera self-calibration,' IEEE Conf. on Advanced Video and Signal based Surveillance, 2003
G. Welch and G. Bishop, 'An introduction to Kalman filter,' UNC-Chapel Hill, TR 95-041, April 5, 2004
http://www.autodesk.com/
L. Ma, Y. Q. Chen, and K. L. Moore, 'Analytical piecewise radial distortion model for precision camera calibration,' Vision, Image and Signal Processing, IEE Proceedings, 153(4), pp.468-474. 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.