초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 캘리브레이션 정보를 모르는 카메라로부터 얻은 시퀀스 영상에서 공간상에서 평면인 물체의영상 정보를 이용하여 카메라 내부 및 외부 파라미터를 추정하고, 이를 이용하여 가상의 3D 그래픽을 시퀀스 영상에 정합하는 방법을 제안한다. 제안된 방법은 기존의 방법에 비해 손쉽게 이미지에 가상의 3D 그래픽 오브젝트를 정합할 수 있으며, 눈에 보이는 정합오차를 최소화하며 DirectX와 같은 3D 그래픽 툴과 쉽게 연동이 되는 장정이 있다. 본 연구는 비디오와 같은 영상에 3D 영상을 합성하는 대화형 비디오 컨텐트 개발에 활용할 수 있을 것으로 기대된다.

본 논문은 캘리브레이션 정보를 모르는 카메라로부터 얻은 시퀀스 영상에서 공간상에서 평면인 물체의영상 정보를 이용하여 카메라 내부 및 외부 파라미터를 추정하고, 이를 이용하여 가상의 3D 그래픽을 시퀀스 영상에 정합하는 방법을 제안한다. 제안된 방법은 기존의 방법에 비해 손쉽게 이미지에 가상의 3D 그래픽 오브젝트를 정합할 수 있으며, 눈에 보이는 정합오차를 최소화하며 DirectX와 같은 3D 그래픽 툴과 쉽게 연동이 되는 장정이 있다. 본 연구는 비디오와 같은 영상에 3D 영상을 합성하는 대화형 비디오 컨텐트 개발에 활용할 수 있을 것으로 기대된다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 컴퓨터 비젼 기술의 말전으로 인해 캘리브레이션 정보를 모르는 이미지 시퀀스에서 카메라 모션을 추출하는 것이 가능하나, 이들 작업은 많은 시간이 소요되는 단점이 있으며, 첫프레임을 기준으로 상대적인 카메라 트래킹 정보만을 추출하여 가상의 3D 그래픽 오브젝트를 사용자가 수작업으로 배치해야 되는 문제가 있다. 본 논문에서는 이미지 시퀀스에 얐는 평면 정보률 이용하여 샹대적으로 사용이 간편한 이미지 시퀀스와 3D 그래픽과의 정합 방법을 제안한다. 기존 방법[5]에서는 카메라 트래킹 정보만을 추출하는 작업에 초정이 맞춰져 있어, DirectX와 같은 晏을 이용하여 3D 그래픽 오브젝트를 정합하기에는 적합하지 않은 구조를 갖는 단점이 있으나, 본 논문에서는 이미지 시퀀스에서 카메라 트래킹 정보를 추출한 다음, DirectX와 같은 그래픽 툴과의 정합을 위해 추가적인 오차 보정을 수행하여 보다 유연한 영상 정합을 이룰 수 있는 장점이 있다.
• 본 논문에서는 캘리브레이션 정보를 모르는 이미지 시퀀스를 입력받아 이미지 내에 존재하는 평면 정보롤 이용하여 가상의 3D 오브젝트쿌 정합하는 방법을 제안하였다. 그리고, 본 논문에서 기술된 방법에 따라 너S DirectX^ 이용하여 기존의 방식에 비해 보다 정착하게 이미지 시퀀스에 3D 그래픽울 정합한 결과를 보였다.

가설 설정

• 9 픽셀로 정합 오차가 줄었다는 것을 보여준다. Y 축의 길이는 기준축의 형태가 정사각형이었다는 것을 가정하여 K시比의 첫 두열의 frobenius norm 의 비로 나누어 길이를 보정하였으며, 그림 2의 (다)에서 보는 바와 같이 X죽과 Y축의 길이가 같게 된다.
• 본 논문에서 카메라 내부 파라미터는 서로 직각인 두쌍의 평행선을 이용하여 근사값으로 구하였다. 즉, 카메라의 skew는 0, aspect rati。는 1, 카메라의 principle point는 (0, 0)으로 가정하였고, 카메라의 촛점거리(focal length) 만을 구하였다. 평면 내에 사각형이 있으면 사각형으로부터 서로 직각인 두 쌍의 평행한 라인을 얻을 수 있다.

제안 방법

• 3D 그래픽 영상을 정합하기 위한 세계좌표계와 이미지 프레임간의 관계를 내부 파라미터의 결정에 사용된 사각형의 좌표값을 이용하여 세계좌표계에서 이미지 좌표계로의 호모그래피( # )를 DLT 를 이용하여 계산하였다. 세계좌표계에서 [번째 카메라로의 호모그래피는 식 6과 같이 구할 수 있다.
• 이와 같이 구한 회전 행렬 R'은 직교 행렬의 성질을 만족하지만, 보정되는 과정에서 원래의 축과 어긋나게 되어 3D 그래픽 오브젝트와 정렬 오차를 발생시킨다. 따라서, 평면에 있는 사각형의 좌표를 이용하여 카메라 외부 파라미터 중에 이동 벡터를 조정하여 세계좌표계상의 좌표축과 이미지상의 사각형의 좌표값과의 차이가 최소가 되도록 최소자승법을 이용하여 보정하였다.
• 본 논문에서 카메라 내부 파라미터는 서로 직각인 두쌍의 평행선을 이용하여 근사값으로 구하였다. 즉, 카메라의 skew는 0, aspect rati。는 1, 카메라의 principle point는 (0, 0)으로 가정하였고, 카메라의 촛점거리(focal length) 만을 구하였다.
• 인접 프레임간의 호모그래피를 구하기 위해서는 프레임간의 평면에 존재하는 대응점의 집합을 찾아야 된다. 본 논문에서는 영상의 그래디언트(Gradient) 값에 의한 공분산 행렬 (covariance matrix) C 를 사용하여 특징점들을 추줄하였다. 먼저 영상을 가우시안 필터링하여 그래디언트 이미지/를 구하고, x,y 방향으로 편미분를 계산하여, 식 3과 같은 공분산 행렬 C의 두 2^X1 (eigenvalue)가 모두 큰 값일 때 특징점으로 추출하였다.
• 프레임간에 대응되는 특징점율 아웃라이어와 인라이어로 분리한 다음, 인라이어만읗 이용하여 프레잉별로 호모그래피를 계산하였다. 신문의 테두리 정보죠 이용하여 카메라 내부 파라미터를 계산하였으며, 신문의 테두리는 3D 그래픽읗 정합하기 위한 기준축으로 사용하였다. 그림 2의 (나)는 구한 외부 파라이터에 대해 회전 행렬율 근사한 직교 행렬로 보정한 다움 기준 축과의 정합된 결과이며, 그림 2의 (다)는 이동 벡터룔 조정하여 오차를 보정한 후, 3D 그래픽윻 정합한 결과 영상이다.
• 선택된 특징점에 대해 다음 프레임 (f 十 £)에서 식 4를 최소로 하는 대응점을 구하는 방법으로 특징점을 트래킹하였다. 트래킹 과정에서 손실된 튺징에 애해서는 새로문 특징점을 추가하여 항상 일정 수 이상의 특징점들이 트래킹되도록 하였다,
• 프레임간에 대응되는 특징점율 아웃라이어와 인라이어로 분리한 다음, 인라이어만읗 이용하여 프레잉별로 호모그래피를 계산하였다. 신문의 테두리 정보죠 이용하여 카메라 내부 파라미터를 계산하였으며, 신문의 테두리는 3D 그래픽읗 정합하기 위한 기준축으로 사용하였다.

이론/모형

• 특히 실제 구해진 회전 행렬 R은 rTr=rrT=I 인 직교행렬의 성질을 만족하지 못하여, 3D 그래픽 오브젝트를 렌더링하면, 3D 그래픽 오브젝트가 찌:□러져 보이는 현상이 발생한다. 따라서 본 논문에서는 회전 행렬 R을 SVD(Singular Value Decomposition) 을 이용하여 직교 행렬의 성질을 만족하는 회전 행렬 R'로 식 7을 이용하여 보정하였다.[4]

성능/효과

• 본 논문에서는 캘리브레이션 정보를 모르는 이미지 시퀀스를 입력받아 이미지 내에 존재하는 평면 정보롤 이용하여 가상의 3D 오브젝트쿌 정합하는 방법을 제안하였다. 그리고, 본 논문에서 기술된 방법에 따라 너S DirectX^ 이용하여 기존의 방식에 비해 보다 정착하게 이미지 시퀀스에 3D 그래픽울 정합한 결과를 보였다.
• 제안된 방법에서는 캘리브레이션 정보률 두쌍외 직교하는 평행선읗 이용하여 근사화된 카메라 캘리브레이션 방법율 적용하였기 때문에 3D 그래픽이 기준 좌표축에서 얼어지면 멀어질수록 정렬 오차가 커질 수 있으며, 평면이 없는 이미지에서는 사용 할 수 없는 단정이 있다. 향후에는 보다 정확한 캘리브레이션 방법의 연구와 평면이 없는 잂반적인 이미지 시퀀스에도 쉽게 적용할 수 있는 연구가 필요하다.

후속연구

• 제안된 방법에서는 캘리브레이션 정보률 두쌍외 직교하는 평행선읗 이용하여 근사화된 카메라 캘리브레이션 방법율 적용하였기 때문에 3D 그래픽이 기준 좌표축에서 얼어지면 멀어질수록 정렬 오차가 커질 수 있으며, 평면이 없는 이미지에서는 사용 할 수 없는 단정이 있다. 향후에는 보다 정확한 캘리브레이션 방법의 연구와 평면이 없는 잂반적인 이미지 시퀀스에도 쉽게 적용할 수 있는 연구가 필요하다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기